播放器接进 Avalonia:托管封装与窗口句柄

从零做一个全平台播放器·约 1630 字

界面想用 C# 写一份、几个平台通用,选了 Avalonia。引擎还是那份 C++,要让 C# 调进去,先把接口封出来;视频帧要走原生窗口出画面,Avalonia 自己那套渲染管不到,还得把原生控件的句柄交给引擎。这篇讲托管层怎么分、句柄怎么来、三边差别在哪。

目录与系列

托管层分四层,生成的不手改

从下往上:工具从公共头文件生成一层 C# 包装和一层 C 接口包装;往上一层在生成物之上补便于调用的东西,把生成的文件以链接方式引进来;再往上是播放器控件和界面模型;最上是应用,分共享、桌面、安卓、苹果几个模块。

生成出来的形态值得说一句:C 接口那层把 C++ 对象都压成不透明句柄,函数全是平铺的一条条;易用层补的是托管世界里的东西——对象的生命周期跟 C# 的释放挂钩、引擎回调转成托管事件、参数封成结构体而不是一串裸指针。界面要的播放器控件建在易用层之上,不碰生成物。句柄的类型也按平台分好了:Windows 是窗口句柄配实例句柄,Android 是原生窗口指针,苹果是 Metal 图层指针——宿主侧拿到的就是这三种之一,不存在第四种。

易用层引入生成物的办法是工程文件里加一条通配编译项:生成的目录整目录链进来,IDE 里显示成一个虚拟文件夹,文件留在原地。生成物重跑只动那个目录,易用层的工程文件不用改。

这套托管层怎么来的,也交代一句:大部分代码是大模型按一份项目规则文件生成的——命名、允许改动的范围、注释格式都写在规则里——我在生成的代码上做细节调整。规则文件越具体,生成的东西越省事;不满意的点回头加进规则,下一轮就改过来。

托管封装四层

这样分只有一条要紧的纪律:生成的那层不手改,重跑生成会整个覆盖;要加的东西都在它上面那层加。手改的代价不会当场出现——下一次重新生成,改动无声消失,然后在运行时以「找不到入口」的方式回来。

视频帧不用 Avalonia 的渲染,句柄走原生控件

Avalonia 的界面是它自己渲染的,但视频帧不管走 Vulkan 还是平台的 DX11、Metal,都要一个原生窗口来建交换链——渲染分层那一篇讲过创面按平台分。Avalonia 没有把一块外部渲染结果接进自己渲染树的口子,它给的是另一扇正门:承载原生控件的容器。在页面里开一块原生控件、拿到它的平台句柄,把句柄交给引擎;控件销毁时传 0 解绑。三个平台都从容器的创建回调里拿句柄,拿到的路径各不相同。

对引擎来说,宿主是什么框架它并不知道:交进来的是句柄,交出去的是画面,布局系统给这块控件多大的矩形,原生窗口就贴在哪个位置。契约就这两句话,所以换一套界面框架,引擎侧一行不改。

三平台句柄的拿法

Windows 最直接:原生控件本身就是个可绘制的窗口,取它的窗口句柄配上模块实例,直接建渲染面。

Android 中间要过一次 JNI:原生控件是个 View,当不了渲染面,在它上面放一个 SurfaceView,从持有者的回调里拿 Surface,过 JNI 转成原生窗口类型交给引擎。这一步之外还有搬家:原来安卓那一侧「C++ 调 Java」的对象——音频采集、SurfaceTexture 这类——要一并搬进 C# 工程。Java 源文件按原包名放进 C# 工程的目录,工程文件里声明包含这些 Java 源,底层的动态库文件也一并按 ABI 目录链进包;应用起来的时候在入口里过一次 JNI 调到初始化入口,把主 Activity 传进去——引擎后面要的资源管理器就从它身上取。搬完之后,引擎调 Java 那一半照旧能跑,C# 这边只多了一个初始化调用。

控件层本身也要按平台分目标编译:同一个工程同时出桌面、安卓、苹果几份目标,平台差异用条件编译符隔开,安卓特有的包引用也挂在对应目标的条件下——不打这个开关,桌面编译会把安卓的依赖一起拉进来。

iOS 上原生控件是 UIView,也不是渲染面。做法是自建一个视图,把它的底层图层指定成 Metal 图层,再把图层的指针交给引擎。视图尺寸变化时,要同步可绘制区域的尺寸和缩放系数——这两样不跟,轻则画面变形,重则在高清屏上整幅发糊,因为引擎按旧的像素数在渲染,层却按新的尺寸在显示。

窗口的生命周期跟着页面走

原生控件活在页面里,页面切走控件就销毁。所以解绑不是可做可不做:控件销毁的回调里传 0,引擎把渲染窗口收掉;页面切回来,控件重建,再交一次句柄,交换链重新建。把解绑漏掉,引擎手里攥着一块已经死了的原生窗口,渲染还在往里送帧。

iOS 整链静态库,库名换 __Internal

Windows、Android 走动态库;iOS 因为签名和分发,整条链并成静态库:生成的 C# 包装按静态库目标生成,P/Invoke 的库名换成内部引用——静态链接之后没有独立的动态库可找,入口都在主程序里;引擎和它带的第三方库也都要是静态库,引用的系统框架在最外层的打包参数里声明。少做一步,运行时就是一把找不到符号:报错的样子是找不到那个动态库的名字,而真正的病根在生成目标没设成静态,报错位置离病灶隔着好几层。

三平台再横着比一遍:共同点是句柄的来路(创建回调拿、销毁回调还)与引擎侧的无知(不知道宿主是什么框架);差别只在句柄的种类与中间要不要过 JNI。同一份 C# 界面,三边各补一小段平台代码,就能都跑起来。

引擎 avox 在 GitHub 开源:github.com/xxxzhou/avox,托管封装与这条句柄路都在里面。

音视频开发 C# Avalonia 跨平台 原生窗口 Metal