那是因为以前在低带宽下,直播画质只能勉强看看,大家都说感觉像在看幻灯片。这次团队搞出了ReparoV2,用端云协同的方式来解决这个问题。主要思路就是客户端先“瘦身”,把不需要的帧扔掉,服务器再“补回来”,最后大家看到的画面依旧高清流畅。 首先,客户端拿到视频流后,用一个叫VFD的模型来给每一帧做个分类。有的帧变化大,肯定得留着;有的纹理丰富但可压缩,就交给服务器去补;还有那种纯重复或者没啥信息量的帧,直接用前一帧覆盖掉就行。这么一来,上传的码率一下子就能砍掉20%到30%,给网络侧腾出空间。 然后是网络侧,服务器上准备了五种编码模式,比如Hbit和BWSave这些。带宽够的时候用高码率模式让画面达到720P,弱网时降到120P也能用。服务器还会盯着丢包率和RTT变来变去,实时切换不同的编码方式,把每一点流量都用在刀刃上。 最后是云端的工作。就算客户端已经把一些帧丢了,服务器端还是能用自监督插帧神经网络把这些缺失的部分补回来。这个过程是个闭环:用周围的好帧预测中间缺失的内容;重建的误差传回到客户端去更新VFD模型的权重;更新后的模型再告诉客户端该怎么更精准地丢帧或保留帧。这样观众看到的就是连贯的高清画面了。 实际测试的时候效果真的很明显。在校园Wi-Fi和4G/5G这些真实场景下做了个AB测试,结果发现SSIM平均提升了0.024,画质失真肉眼就能看出来少了;带宽还节省了23.19%,同样画质下更省流量了;QoE评分也提升了16.8%到26.66%。而且这套方案直接在iPhone SE和Redmi Note这些手机上跑通了,不需要额外的硬件加速就能流畅运行。 这么一来,“卡顿”这事儿总算过去了。ReparoV2通过端云协同的方式把弱网直播的体验拉满了。未来团队还打算继续优化神经网络架构、引入算网一体资源调度之类的技术,让高清直播真正普及到千家万户。