做摄像头视频推流，主要是下面几个点：1、RTSP推流信令；这部分参考rtsp推流协议，AI一通辅助，很快就给出了基础框架；关键参数，包括SPS/PPS/profile_id等需要通过H264视频解析出来。 2、摄像头数据对接； 这部分同之前1106的视频对接过程。 3、RTP包组包和发送，支持UDP和TCP; 这部分同之前1106使用librtsp的集成。

1106G3  内存 256M1106G2  内存 128MMMC    2Gb nandWIFI /BTMIPI CSI2路RGB触摸屏TF卡 接一个8欧姆/2W小喇叭可以正常播放；唯一的问题是接咪头采集没有声音；各功能验证方法：

audio部分的代码一直没有细看，主要是pjsip对音频的处理一直都没有什么问题，逻辑层次也很清晰。但是也一直有几个问题，理解不是很深刻，就是pjsip的conference 混音机制，还有source到sink的逻辑通路。看这个代码，可以从音频设备反着来看，也可以顺着呼叫的逻辑顺着来看，然后对齐，整个代码逻辑就理顺了。借改这个问题的机会，捋了捋，确实是清晰了不少。

实现需求，全志IPC，PJSIP本地预览视频，解码并显示对端视频。

rv1106提供的rtspdemo,rtsp库没有源码#rtp包支持udp待完成：#rtp包支持tcp将代码放到SDK的下面目录：~/rv1106/rv1106_20230626_sdk/project/app/component/rkadk/rkadk/src/live/rtsp 修改Makefile:@/rv1106/rv1106_20230626_sdk/project/app/c

参考：【RV1126】移植kaldi实时语音识别 https://blog.csdn.net/qq_28877125/article/details/130376397交叉编译sherpa1、下载arm-gcc，要求gcc大于10.0；刚开始用瑞芯微的gcc库，一直编译不过。wget -q https://huggingface.co/csukuangfj/sherpa-ncn

瑞芯微RV1106开发板板载特性：CPU:ARM Cortex-A7 1.2GHZ 主频 0.5Tops存储：内置128M DDR3L内存 板载 Nand Flash多媒体：RGB LCD接口，UVC通用摄像头、MIPI摄像头通讯：百兆以太网（内置PHY）、USB OTG其他外设：UART/GPIO/SPI其他通讯接口：蓝牙、WIFI、4GEMMC 5.1 标配4G工作电压 3.4-5.5V 50

最近移植代码到瑞芯微平台，记录几个问题，代码细节确实是关键！1、C++ 函数 void*返回值没有返回， 触发munmap_chunk:invalid pointer；2、mqtt-paho库，MQTTClient_subscribe主题为空，导致mqtt主动断连，出现lost conn现象；3、void *payload数据直接复制给string，尾巴出现多余字符； int msga

近期一直在做可视通话功能，主要基于pjsip来实现的，将这些过程记录下来，可能对做同类型工作的同学有所帮助！主要关键点：1、摄像头采集完成后是可用的已编码的H264/H265的流，不需要再开启pjsip的编码/解码流程；2、组包发送，H264的FU-A组包、PS封装发送；

pjsip自带的回声消除处理包括webrtc-aec3，效果不是很理想，切换为webrtc-aec后，确实能明显的感觉到回声被抑制了