播放器接进 Flutter:纹理、平台视图与原生窗口

从零做一个全平台播放器·约 1521 字

Flutter 写界面,C++ 引擎管解码和渲染,中间绕不开一个问题:引擎画出来的视频帧,怎么显示到屏幕上?桌面上没有现成的平台视图,摆在面前的两条路:把引擎的输出变成 Flutter 纹理,塞进合成树;或者绕过合成器,自己开一个原生窗口。纹理那条路我从头走到尾,最后整条收掉。这篇把两条路都摆出来,收掉的理由写清楚。

目录与系列

纹理这条路长什么样

纹理方案的想法很顺:引擎用 Vulkan 合成完,把结果放进跨 API 的共享纹理;宿主侧一个桥线程把它镜像到注册给 Flutter 的纹理上;界面里一个 Texture 组件就把画面接进合成树,变换、手势、生命周期全是现成的。引擎这一侧,为此开了一个正式的口子:输出共享纹理的导出,连同每帧同步用的围栏,外部拿句柄去接。

纹理这条路跑通过,省下的是 CPU 读回的拷贝;当年选它的理由,现在看也成立——贴图是一等公民,进合成树几乎免费,平台差异关进每平台一份的桥里。途中修过一串同步毛病,围栏的重复通知修成原子取号,治好过一秒的花屏;镜像缓冲加张数,出块率往下压。理由成立,病照样治不好,它有一个治不好的病。

纹理链与原生窗口两条路

碎块:病根在多消费者并发

有些片源,画面会出乱块。排查走了弯路:同步围栏修成原子取号,治好过一秒花屏;镜像缓冲从一张加到多张,出块率降但稳态仍在;给引擎加帧闸,碎块没好、卡顿反而加重。最后靠变量隔离锁定:同一部片、三套宿主,唯一的差别是开不开纹理导出——开着就坏,关着就净;原生窗口直出从来没有这现象,跨进程导入也是干净的。坏的只有一种形态:把 Flutter 的合成器拉进同一条链,当第三个使用者。合成器在采样这块纹理,桥线程的镜像在和引擎的下一帧写入赛跑,两级消费都没有可靠的同步;碎块的内容稳定来自相邻帧,不是噪声。

还有一笔账:超高清的一帧 RGBA 是一百三十多兆,这条链每一帧要跳三次。就算同步能修,带宽也撑不住。

所以结论是绕,不是修。

原生窗口:绕开合成器

新方案的形状,三个平台三种接法。Windows 上开一个顶层视频窗,黑底无框、不吃激活焦点,塞进宿主主窗的正后方;宿主主窗做整窗透明,视频区域留成一个透明洞,界面控件以真实透明度压在画面上。视频窗完全不吃输入,点击天然落到网页层;z 序被别的窗口插队,有看门狗定时重新钉回去。macOS 与 iOS 走官方平台视图,视图里自建 Metal 图层交给引擎;Android 用平台视图加 SurfaceView,JNI 挂原生窗口。Linux 暂时保留 CPU 读回的旧形状,是全平台唯一的例外,读回这一步的节流把帧率压在低档。

三个平台的画面出口

效果立得住:同一台机器同一部片,纹理组出块,直出组全净。边界也集中:视频面在合成树之外,Flutter 的动画与变换作用不到它,视频矩形跟随有一帧迟滞;截屏工具抓不到透出的画面;整窗透明依赖一个未公开的接口,是评估后接受的取舍。

复杂度没有消失,只是搬了家

纹理方案的复杂度在帧同步,原生窗口方案的复杂度在窗口生命周期。三个例子。

一个是零乘零。探针页里一切正常,真实壳层里视频窗却是零乘零、控件全隐。沿界面树逐级量过去才找到:某一层布局是松约束,播放时那层被隐藏、量出零尺寸,把铺满它的播放页一起拖塌。修法是那层改成撑满约束,一处改动。

一个是旋转黑屏。竖屏有画面,转横屏概率黑屏、有声无画。转屏时平台视图整个重建、换了新的 SurfaceView,而某些系统上旧面的销毁回调可以不来;挂面闸只比较句柄,新来的面被当成重复请求吞掉,引擎抱着已死的旧窗口轮询出零尺寸,恒黑。修法是句柄与 Surface 对象任一变化即重挂。同路径回归,修前全黑,修后全出画。

一个是换道悬垂。播放中切渲染车道,引用计数踩到上一部片子的、已经释放的 Metal 图层。根因是注册与注销不成对:视图创建时注册了指针,销毁时没人注销,桥这一侧只挡空值、挡不住悬垂。修了三层:销毁时注销、桥侧用弱引用做活体闸、开新片时清掉换道状态防抢跑。

单车道,不留开关

验证通过后,纹理直通整条删除:设置项、它的本地化词条、启动时的环境变量注入,连同桥里的纹理符号一起收掉;引擎收到无窗口的创建请求直接拒建。产品里只剩一条渲染链,以后每一个渲染问题,都不需要先回答发生在哪条链。

引擎侧的两个互操作口子还在,只是换了用途:外部把纹理喂进引擎的入口,归帧源那一篇讲的采集与外部纹理;把引擎输出导出成共享纹理的那组导出,现在的用户是自检页——验证 GPU 互操作能力,不再服务播放主链。

纹理并没有被否定。低帧率、小尺寸、要参与界面变换的画面——缩略图、预览——纹理至今是最短的路。全屏、高帧率、高色深的视频面,原生窗口是我验证过的唯一稳定答案;还有一层是 HDR:纹理在合成树里永远是标准动态范围,想让高光真的顶出屏幕,像素必须从引擎自己的呈现面出去。

引擎 avox 在 GitHub 开源:github.com/xxxzhou/avox,互操作的两个口子与这条单车道都在里面。

音视频开发 Flutter 图形渲染 C++ 桌面开发 播放器