本地文件和点播流,seek 不是同一件事
本地文件播放,播放器手里有完整索引,知道每一帧在文件里的位置,拖动就是挪读指针;帧上的时间戳写在文件里,跳不跳都连续。
RTSP 点播没有索引,只有一条连到服务器的会话。能做的只有发一条带目标时间的播放命令——命令里写的是正常播放时间,也就是这条流自己的时间轴位置;录像回放那一族都是这么走的。服务器收到后把画面定位到目标附近最近的一个关键帧,从那里开始发流。这一步决定了 seek 的精度上限,也埋下了后面的麻烦:服务器保证的是「画面到位」,不保证「时间标签跟着到位」。
为什么顺延是最常见的?时间戳是服务器那边一路打上来的,seek 只挪了读取的位置,没动打戳的那套逻辑,于是包还接着从前的数往上走。也有的服务器 seek 时会重打,但重打的起点未必是真实跳过的时长——所以顺延和乱跳都见得到,事先猜不到哪一种。

包时间戳为什么不能信
服务器把画面对到了目标位置,时间戳生成器却不一定重置。发回来的包有两种表现,事先猜不到:一种是顺延,时间戳接着 seek 之前的位置往上加——有一次 seek 到十五秒,回来的包时间还在六秒附近一个一个涨;另一种是跳变,时间跳了,但跳的量不等于真正跳过的时长,视频和音频还可能各跳各的。
结果是画面和时间标签脱了钩:画面已经在二十秒,包里写的是十二秒。标签本身没坏,它标错了对象。
这些包往下走会污染一整条链:包的时间变成解码帧的时间,再变成渲染帧的时间,进时钟,时钟供出当前播放位置,而播放位置正是下一次 seek 的起点。前面写错一个数,后面每一环跟着错;错得越多,下一次 seek 就越偏。
这条链上唯一靠得住的数,是播放器自己发出去的那个目标时间。它对应用户真正想看的位置,跟服务器怎么标时间无关。修法就围绕它。
修在包入口,第一个包当锚
脏数据从包入口进来,就在包入口改掉,后面的解码、渲染、时钟都不用知道发生过什么。改的位置也挑过:候选的另一个位置是取出之后改,但那意味着用的人各自改一遍、时序散在各处;修在入口,这条腿进来的是修好的时间,下游一行不动。改的位置最终落在这条点播腿自己的 IO 实现里:本地文件走另一条腿,直播又不会 seek,所以通用逻辑一行不动。

做法三步。seek 时记下目标时间;seek 之后第一个包到达,拿目标时间减去这个包自带的时间,得到一个偏移量;之后每个包都加上这个偏移量。第一个包不管服务器标的是十二秒还是二十五秒,都被拉到二十秒,后面的包跟着平移,包与包之间的间隔保持原样。锚定也不分顺延还是跳变——两种行为事先猜不到,统一按第一个包锚,顺延的流锚一次就正,跳变的流同样锚得住。
平移用的增量取同一段流里相邻包的时间差。这个差由编码器打出来,可靠;不用墙钟去估,墙钟在网络抖动下会飘。
视频和音频各记各的锚,但锚到同一个目标时间。不各记一套目标,两边的差才会越拉越大;各记各的偏移,是因为两边第一个包到达的时刻不同、服务器给两路的错法也可能不一样,一套偏移伺候不了两路。锚到同一目标之后,两边的差不会越拉越大,源侧那条音视频对齐检查也过得去。
不累积:每次 seek 都重新算一遍偏移,只在两次 seek 之间生效。某一次偏了一点,下一次从头算,偏差不往下传。seek 的目标时间取自当前播放位置,那是渲染端的时间,不碰 IO 包里那些失真的数。
误差与边界
精度受服务器定位粒度限制,在一个关键帧间隔上下浮动。服务器每次只能找「最近的」关键帧,目标可能更靠近前一个,也可能更靠近后一个,这个误差每次独立、不累积。seek 后紧接着到的包如果混进上一条流的残留,锚点会偏一点,所以发起 seek 时会先清掉播放器里已缓存的包,加上每次重锚,这点残留通常没有影响。
还有一个前提要说破:包时间一旦失真,就没法从包本身判断服务器到底把画面对到了哪一帧,误差也就修不到比关键帧间隔更细。这是信息本身缺了,不是算法还能再拧一拧。
删掉的那条路
这条路上我试过一个方向:碰到时间戳大跳变,就让跳变直接透传出去,指望下游自己适应。后来走不通——它救不了那些本来就不跳、只是乱跳的流;而且打开之后,正常的老流反而累积出偏差,因为锚点在第一个包之后才定,偏移量过大。最后从服务端子模块、播放器封装到命令行入口,整条都删了,新旧流统一走同一条路:顺延也好、跳变也好,都用第一个包锚定。
引擎 avox 在 GitHub 开源:github.com/xxxzhou/avox,这条点播腿上的包时间重写都在里面。
音视频开发 RTSP 流媒体 播放器 时间戳 C++