为什么我收到“不支持的格式”错误,使用Android MediaPlayer阅读H.264编码的rtsp流？

概述我试图在 Android设备上显示H.264编码的rtsp视频.流是从Raspberry Pi,使用vlc编码/ dev / video1这是一个“Pi NoIR相机板”. vlc-wrapper -vvv v4l2:///dev/video1 --v4l2-width $WIDTH --v4l2-height $HEIGHT --v4l2-fps ${FPS}.0 --v4l2-chroma h 我试图在 Android设备上显示H.264编码的rtsp视频.流是从RaspBerry Pi,使用vlc编码/ dev / vIDeo1这是一个“Pi NoIR相机板”.

vlc-wrapper -vvv v4l2:///dev/vIDeo1 --v4l2-wIDth $WIDTH --v4l2-height $HEIGHT --v4l2-fps ${FPS}.0 --v4l2-chroma h264 --no-audio --no-osd --sout "#rtp{sdp=rtsp://:8000/pi.sdp}" :demux=h264 > /tmp/vlc-wrapper.log 2>&1

我现在使用极少的AndroID代码：

final MediaPlayer mediaPlayer = new MediaPlayer();mediaPlayer.setdisplay(holder);try {  mediaPlayer.setDataSource(url);  mediaPlayer.prepare();

并获得“准备失败：status = 0x1”IOException.当我看日志时,我会看到这样的行

06-02 16:28:05.566 W/APacketSource(  316): Format:vIDeo 0 RTP/AVP 96  / MIME-Type:H264/9000006-02 16:28:05.566 W/MyHandler(  316): Unsupported format. Ignoring track #1.06-02 16:28:05.566 I/MyHandler(  316): SETUP(1) completed with result -1010 (UnkNown error 1010)

来自系统过程.对于这些消息,grepPing指向libstagefright / rtsp源,似乎意味着APacketSource :: APacketSource构造函数中的ASessionDescription :: getDimensions调用失败.这似乎不应该发生,因为VLC当然知道要输出的尺寸：

[0x1c993a8] v4l2 demux deBUG: trying specifIEd size 800x600[0x1c993a8] v4l2 demux deBUG: Driver requires at most 262144 bytes to store a complete image[0x1c993a8] v4l2 demux deBUG: Interlacing setting: progressive[0x1c993a8] v4l2 demux deBUG: added new vIDeo es h264 800x600

似乎正在发生的事情是,ASessionDescription :: getDimensions在(看起来很好)的DESCRIBE结果中寻找一个framesize属性

06-02 16:28:05.566 I/MyHandler(  316): DESCRIBE completed with result 0 (Success)06-02 16:28:05.566 I/ASessionDescription(  316): v=006-02 16:28:05.566 I/ASessionDescription(  316): o=- 15508012299902503225 15508012299902503225 IN IP4 pimple06-02 16:28:05.566 I/ASessionDescription(  316): s=Unnamed06-02 16:28:05.566 I/ASessionDescription(  316): i=N/A06-02 16:28:05.566 I/ASessionDescription(  316): c=IN IP4 0.0.0.006-02 16:28:05.566 I/ASessionDescription(  316): t=0 006-02 16:28:05.566 I/ASessionDescription(  316): a=tool:vlc 2.0.306-02 16:28:05.566 I/ASessionDescription(  316): a=recvonly06-02 16:28:05.566 I/ASessionDescription(  316): a=type:broadcast06-02 16:28:05.566 I/ASessionDescription(  316): a=charset:UTF-806-02 16:28:05.566 I/ASessionDescription(  316): a=control:rtsp://192.168.1.35:8000/pi.sdp06-02 16:28:05.566 I/ASessionDescription(  316): m=vIDeo 0 RTP/AVP 9606-02 16:28:05.566 I/ASessionDescription(  316): b=RR:006-02 16:28:05.566 I/ASessionDescription(  316): a=rtpmap:96 H264/90000

这看起来可能是一个Stagefright错误：它知道(或应该知道)它有一个H.264编码流,但似乎是期待一个H.263帧的属性.所以我的问题：

我正在阅读来源吗？ ASessionDescription :: getDimensions中的问题是否调用？ (stagefright是否只支持H.263流？)
>还是以某种方式错误的Pi侧代码？
>或者我只是在客户端代码中缺少关键的一两步？

更新,20140606：

MediaPlayer文档说-1010是MEDIA_ERROR_UNSUPPORTED：“Bitstream符合相关的编码标准或文件规格,但媒体框架不支持该功能.这让我想知道问题是“标准”渐进式下载问题.也就是说,Supported Media Formats说

For vIDeo content that is streamed over http or RTSP [in a] MPEG-4 [container] the moov atom must precede any mdat atoms,but must succeed the ftyp atom

而大多数流将moov原子放在最后.

虽然我并不确定如何验证,

>我看不到vlc源中没有moov或ftyp原子. (我被告知,vlc只是流式传输,在这里;实际的H264内容是从相机驱动程序出来的.)
>我在https://github.com/raspberrypi linux或用户分支中看不到moov或ftyp原子. (也许我只是为了错误的事情而付出代价)
>当我有vlc保存流,我得到一个mp4文件与moov之前的mdat,但当然vlc可能会做一些转码,在这里.

更新,20140610：

GPAC “Osmo4” player可以在AndroID 4.3平板电脑上显示流.糟糕(比笔记本电脑上的VLC更滞后,容易发生锁定),但可以显示.

更新,20140616：

当我再次尝试再次使用VLC源时(不区分大小写,无字幕),我确实发现在模块/ mux / mp4.c中定义了moov和ftyp原子的FOURCC宏,这很快导致了–sout -mp4-faststart(和–no-sout-mp4-faststart)开关…没有什么区别.

所以看起来它实际上可能不是原子排序问题.这是很好的知道,如果它关闭了一整套的死胡同,但它确实让我撞到我的头撞在墙上(这似乎对我的头比对墙壁更多的伤害),没有线索.

更新,20140702：

我编译了VLC for AndroID,它可以显示由VLC生成的流.它将图像放在屏幕的左上角;我试着为自己的.so编写自己的皮肤,找不到任何让我放大或缩小的“旋钮”. (加上.apk来了约12M！)

所以,我找到了相关的RFC,并写了我自己的RTSP客户端.或尝试：我可以解析SDP并生成足够有效的RTSP获得RTP和RTCP数据报,我可以解析RTP和RTCP标头.但即使SDP声称提供m = vIDeo 0 RTP / AVP 96和a = rtpmap：96 H264 / 90000,MediaCodec不会在我的表面上显示视频,无论我的平板电脑上的三个H264编解码器中的哪一个通过到@L_404_9@,当我看着RTP有效载荷时,我并不惊讶：我在任何数据包中都看不到NAL sync pattern.

相反,它们都以21 9A __ 22 FF(通常)或偶尔3C 81 9A __ 22 FF开始,其中__似乎总是一个偶数,每个数据包增加2.我不认识这种模式 – 是吗？

更新,20140711：

结果证明,H264数据包不必以NAL同步模式开始 – 只有在NAL单元可能嵌入到较大的数据流中时才需要这样做.我的RTP数据包是RFC 6184格式.

解决方法 经过惊人的死亡之后,我可以在AndroID SurfaceVIEw上显示一个H264 RTSP流.这个答案只是一个答案,因为我仍然无法解决我原来的三个问题,但是甚至充满了错误和快捷键,因为它是,我的75K apk比Vlc for AndroID或osmo4播放器好多了：它有sub – 第二个延迟(至少当发送者和接收者在同一个WiFi路由器上时),并填写SurfaceVIEw.

一些外卖,帮助任何人尝试做类似的事情：

>您传递给MediaCodec.queueInputBuffer()的所有输入缓冲区必须以00 00 01 sync pattern开头.
>您可以立即使用configure()和start()编解码器,但请勿排除任何“正常”输入缓冲区,直到看到SPS(NALU代码7)和PPS(NALU代码8)数据包为止. (这些可能不是0x67和0x68 – “nal_ref_IDc”位应该是非零,但不一定是11. Fwiw,vlc似乎总是给我01.)
>几乎正常通过SPS / PPS数据包 – 将BUFFER_FLAG_CODEC_CONFIG标志传递给queueinputBuffer().特别是,不要试图将它们放在附加到MediaFormat的“csd-0”缓冲区中！
>当您看到(a)错过的帧(即您看到RTP序列号跳转)不要调用codec.flush()！只需跳过部分框架,并且不排队等待下一个完整的帧.

总结

以上是内存溢出为你收集整理的为什么我收到“不支持的格式”错误,使用Android MediaPlayer阅读H.264编码的rtsp流？全部内容，希望文章能够帮你解决为什么我收到“不支持的格式”错误,使用Android MediaPlayer阅读H.264编码的rtsp流？所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。