中旅远洋商务网站建设策划书,免费收录软文网站,广州建设网站怎么做,家电网站设计方案以一只音视频百宝箱#xff0c;应对「千行千面」。 洪炳峰、楚佩斯#xff5c;作者
大家好#xff0c;今天我分享的主题是MediaBox——行业音视频数字化再加速。
根据权威数据表明#xff0c;65%的行业数字化信息来自视频#xff0c;基于此#xff0c;音视频技术对于行… 以一只音视频百宝箱应对「千行千面」。 洪炳峰、楚佩斯作者
大家好今天我分享的主题是MediaBox——行业音视频数字化再加速。
根据权威数据表明65%的行业数字化信息来自视频基于此音视频技术对于行业数字化来说是至关重要的。今天我想借此机会向大家介绍一个重量级的客户端产品——MediaBox它将致力于实现行业音视频数字化再加速。
MediaBox顾名思义是一个包罗万象的音视频魔盒。在这里多种音视频能力的SDK可供任意选择、自由组合、多端适配一次性满足多种音视频需求。 接下来我将从MediaBox初识与全景、音视频终端SDK的架构设计和演进、音视频低代码开发的场景建设与实践和生态合作及未来展望四个方面进行分享。 01 MediaBox初识与全景 从需求侧来看传统音视频技术已发展多年在行业化的过程中被广泛应用于互娱行业。同时也在逐渐向教育、医疗和零售等传统行业渗透刺激了传统行业需求的旺盛增长。
从研发侧来看音视频的复杂度使得行业客户也面临许多挑战例如开发门槛高、接入复杂度高、性能挑战大等等。
基于这些行业趋势和挑战企业的音视频诉求可总结为高易用、高性能、场景化、多端化的多SDK组合及方案。阿里云视频云“MediaBox音视频终端一体化套件”就给出了这些问题的最优解通过极致的自我进化加速行业音视频数字化落地。
这里分享一个大家比较熟悉的互娱场景直播PK。在开播端需要RTC技术支持直播推流和旁路直播在PK时需要借助IM信令完成交互、RTC完成音视频流传输以及进行混流布局。这样的场景就需要多个SDK和云产品组合完成那么相比音视频SDK我们更需要场景化的解决方案。 通过MediaBox全景图可以看到MediaBox由音视频终端SDK、音视频低代码AUI Kits两大部分组成并基于行业生态合作构建音视频场景方案。
MediaBox音视频终端SDK全面覆盖实时音视频、直播、超低延迟直播、播放器、短视频、美颜特效等通过自由组合出包形成一系列不同能力的SDK为客户提供灵活、易用、高效的接入体验。
MediaBox AUI Kits通过对MediaBox SDKs单点能力做场景化的封装方便客户将某个视频场景化的能力快速集成到自己的应用中。客户不需要理解音视频SDK中API的具体用法只需关心自己的业务实现即可实现场景化的音视频能力从而大大加快业务开发进程。 MediaBox的优势可以总结为“一体、三高、多场景”。
首先是一体化主要是SDK一体化和云端一体化。基于SDK一体化的底座既可以方便地进行SDK开发也可以进行SDK组合满足不同的业务需求云端一体化比如特效引擎实现端云体验一体化智能缓存、调度优化等实现端云一体化。
三高指的是高易用、高性能、高智能。基于一体化SDK我们可以实现SDK的灵活组合并且结合AUI方案实现低代码接入以保证易用性另外SDK的稳定和高性能是重中之重同时SDK的智能化可以很好地服务各种场景需求。
最后是场景化场景化方案要解决易用和好用的问题。举个简单的例子长视频和短视频场景在起播buffer的设置、缓冲区大小、本地缓存的设置上是有很大差异的而客户需要的是可以依据具体需求开箱即用的场景化方案。 02 MediaBox音视频终端SDK的架构设计和演进 接下来介绍MediaBox音视频终端SDK的架构设计。
在此之前给大家分享两则小故事。大家知道国产大飞机C919上有多少个零件吗据相关报道C919上一共有250万个零件如此多的零件需要经过完整的系统工程组装起来并且其中的每个零件都非常重要。
如果我们把MediaBox比作一架飞机的话那么其中的各个子模块就相当于零件如何进行有序组装、并完整实现整体功能就成为了一个巨大的挑战。
另外一个分享是关于汽车制造平台。我们知道不同车型可以在同一个制造平台上生产共用整车设计尤其是底盘设计和车辆结构。同样的MediaBox基于一体化的底座可以快速迭代和开发SDK产品。
上图是MediaBox一体化SDK的总体架构。它是一个分层的架构SDK的Crash捕获和License认证都是作为通用能力服务于整个SDK在SDK之外还有很多研发支撑工具来保障SDK研发的效率和稳定性。 在SDK的发展初期各个业务为了满足需求会各自进行SDK的迭代。随着客户业务的发展会需要使用多个SDK来完成功能需求如果强行把这些SDK融合在一起在包大小方面也不是最优的而且可能会产生包冲突。
于是我们针对几个主要原子SDK的功能模块做了分析。如图所示各个SDK之间有很多可以共用的模块通过SDK模块可以更好地进行模块复用同时实现包大小的降低另外也可以实现更多的性能优化和兼容性提升。 这些组件抽离后如何将它们组合到一起呢可以通过pipeline机制来串联从采集到渲染的整个流程。而音视频pipeline的构造、运行、销毁等全生命周期管理则需要由微内核来实现它具备高效、灵活的特点同时因为引入了插件管理可以实现插件的插拔提升SDK的扩展能力。 接下来通过一个示例展示插件设计。
某位客户希望引入智能降噪的功能模块一般情况下智能降噪模块是基于深度学习网络实现的所以其SDK包相对很大。如果我们直接把该模块引入SDK会导致整个SDK的size过大。
通过前文介绍pipeline机制可以很好地串联内部组件那么对于外部组件是否有好的解决之法我们在微内核中通过插件占位实现了插件的热插拔真正实现一套插件代码、一次打包同时满足两种客户的诉求。 前面介绍了一些架构设计的思考接下来就涉及到一些实际落地的困难和挑战。
第一个问题是重写SDK还是基于现有的SDK进行演进在业务需求的推动下只能选择后者但这相当于开着飞机换引擎对于整体稳定性的考验非常之大。
第二个问题对于一台零件众多的庞大机器如何让它顺畅地运行起来多团队如何协作版本如何管理
一体化工程涉及到多个组件各个组件的版本管理、依赖关系也相当复杂组件也很难独立被引用。因此我们设计了一个灵活组件管理工具ACPMAliyun C Package Manager。它由两个主要的模块组成
1、依赖模块负责根据描述分析依赖关系、下载对应组件、生成cmake工程需要的编译文件
2、发布模块负责托管组件静态库在MTL上并记录发布时的具体信息以供依赖时分析。
通过这样的方式我们可以更好地管理各个组件。举一个实际应用的例子短视频、直播、RTC都使用到了视频采集模块。如果针对此模块做融合直接重写一份模块进行共用在实际运行过程中可能会遇到一些挑战。
我们采用的方式是ACPM化在一个相对业务量较小的业务如短视频内将其SDK中的视频采集模块ACPM化另外两个业务仍使用原有的模块。在前者的ACPM化模块逐渐稳定后再将后两者的模块进行ACPM化就可达到整体组件使用和工程效率上的融合。 ACPM化也可以应用在公共组件、音视频算法等当中。在跨平台上我们不仅支持了Android/iOS/Win/Mac多端还支持了Web端可以输出成Web Assembly代码这样一些Native客户端的能力可以快速无缝转到Web平台实现多端体验的一致性。
比如美颜特效SDK可以通过ACPM编译成Web Assembly代码来供Web平台使用由于底层代码是同一套在体验上也最大程度地保证了一致性。 接下来以一个高性能算法特效执行引擎在Web端的实践为例介绍如何用一体化的框架落地。
如图中的特效引擎有其pipeline以及数据输入组件和图像处理组件它可以打包成Android/iOS/Win/Mac以及服务端的版本在Web端通过WASM的方式支撑相关业务。
Web上会有性能差和功能受限的问题我们通过Profile工具生成火焰图分析耗时函数并将其进行SIMD替换。另外通过在Web上开启多线程可以提升整体运行效率。 云端一体可以实现更极致的优化是竞争力的体现。
我们实现了一张网一个SDK并覆盖常见的音视频相关场景。一体化SDK和一体化网络MediaUni的配合可以实现端云一体化的体验通过对接客户端SDK即可便捷地使用云上的服务。
比如端云协同可以实现智能调度通过云端联动智能控制播放缓存大小以此降低成本。与媒体服务协同可以实现智能按需转码当发现某个热门视频时可以智能启动转码提升播放体验的同时也节约了客户的成本。 通过前面的方案可以说飞机已经造出来了但还需要保障其稳定性。
首先是一体化对客所有SDK共用一份License进行统一授权认证、统一入口和引导
其次是高可用稳定性体系通过Crash的收集、问题的智能归因可以快速识别出问题的影响范围
然后是高可用数据体系基于数据指标做埋点优化针对异常指标进行监控
最后是建设完善的自动化测试体系来完整保障SDK的质量和稳定性。 MediaBox在场景化实践中同样基于端智能技术不断创新突破。
例如在端侧超分上需要针对算法进行调优并考虑端侧算力的兼容性另外智能预加载会利用智能算法基于当前网络状况、用户滑动行为、历史播放行为等信息动态控制预加载缓存。
在远程教学一对多场景中学生专注度下降导致教学效果差是远程教学一直以来的痛点而场景智能为业务赋能带来了更多可能性。音视频终端套件不止是单纯的开发工具更是行业的创新型端口以最轻量的方式赋予场景全新的数智化能力。 03 MediaBox音视频低代码开发的场景建设与实践 我们接触到的很多客户都不是专业做音视频开发的因此他们都有一个共同的诉求即希望能提供一揽子解决方案而自己只需要专注业务开发即可。
在这里有几个值得探讨的问题到底要实现什么样的组件组件要实现到什么样的粒度组件要不要开放
基于这个逻辑我们开发了很多音视频的低代码基础组件这些基础组件又可以组合成场景化组件。 AUI Kits的组件设计遵循统一规范、多端统一、简单易用这三个原则实现了多端一致的UI风格。当然我们也提供了一些易用的工具方便客户使用脚本实现一键引入这样可以极大提升客户的集成效率。 AUI Kits方案不只有UI控件也包含与服务端紧密配合的场景化组件其灵活的架构设计可以让客户方便地进行组件组装另外核心组件的代码也是开源的。
以接入的某电商直播客户为例基于场景化的解决方案客户快速接入音视频能力并跑通业务同时根据需求自定义开发定制化修改了其UI。 以下将以图中的例子说明场景化方案是如何来设计的。
场景化方案一般由App、AUI Kits以及App Server配合云服务来完成。为了方便客户一站式集成App Server当前已经对接了常用的直播审核、录制等阿里云PaaS层功能客户可以基于源码进行二次开发部署或者直接使用容器化的方式完成服务部署。客户端的组件会与服务端进行交互完成场景化的业务功能。 面向娱乐直播、电商直播、企业直播我们开发了互动直播AUI Kit场景解决方案将常见的功能抽成组件实现。
在集团内部客户的某App电商直播场景通过使用AUI Kit的直播播放、弹幕和橱窗等组件实现了业务的快速落地。此外某新能源汽车公司快速集成了AUI Kit方案完成新车发布会的企业直播。 面向公开课、大班课、企业内训等场景我们开发了互动课堂AUI Kit场景化方案并在此场景下完善了互动白板、智能专注度监测等功能。
针对远程监考场景音视频技术可以很好地赋能教育行业。
中国每年有很多艺术考试在传统的方式中艺术生都需要去现场考试。而远程监考场景具有很多难点首先传统的RTC会议方式是所有考生都在一个会议里某位考生和老师之间要实现单独通话且其他考生听不到的需求是难以满足的除此之外艺考模式是大量学生同时在线高并发的流量对于RTC系统也是非常大的挑战。
针对痛点远程监考AUI Kit方案凭借MediaUni网络实现一对一通信并支持万人场景下的高并发推流。
基于低代码方案企业可以快速完成方案集成大大降低开发门槛。另外远程监考方案覆盖了Android/iOS原生应用微信/钉钉小程序以及Web等多端保障了考试场景下的“高易用”。
同时基于全球3200节点的底层网络远程监考AUI Kit方案能承载10万考生同时在线实现监考端视频延时1秒内、1对1通话延时300ms内全方位满足高可靠、高并发、低延时、高清晰度的“极致好用”。 04 MediaBox生态合作及未来展望 MediaBox的场景化解决方案可以降低开发门槛、提升集成效率因此我们将不断开发出更多场景化方案为行业音视频数字化助力。
此外云端一体可以实现更极致的优化和更好的体验这里面可挖掘的空间巨大我们还将结合场景深耕技术让端云结合发挥更大价值。
在端智能方面我们已经实现了智能的预加载能根据当前的网络情况、当前用户的行为等信息进行模型计算给出决策。在行业音视频数字化过程中场景方案中还会对端侧智能提出更多需求。端云结合的智能化、大模型加持下的智能化都是非常有想象空间的方向。
最后我们在近期启动了MediaBox生态合作伙伴计划招募战略伙伴以及重点伙伴并在销售、营销、技术、赋能等方面给予支持为伙伴提供更广阔的发展平台。期待与合作伙伴一起强强联合为行业客户提供简单、易用、高质量的视频云服务。
我的分享到此结束谢谢大家
