小型游戏驾驶舱
近日,Cocos产品总监郭猛在2022年第四届HUD高峰论坛上发表了主题为“实时3D渲染引擎助力驾驶舱智能交互升级”的演讲,分享了他对AR-HUD的理解,以及Cocos引擎如何帮助主机厂为用户带来全新的驾驶舱HMI交互体验。
Cocos产品总监郭猛
以下内容由演讲记录整理而成:
Cocos engine:不断拓宽应用场景,提升数字内容产业生产效率。
大家好,我是来自Cocos的郭猛,很高兴有机会与这里的从业者交流。今天主要分享Cocos这几年在3D渲染引擎方面的积累,以及我们在汽车行业的探索。
Cocos成立于2010。我们是数字内容的生产平台。其核心产品名为Cocos Engine,目前服务于包括汽车、游戏、在线教育和XR等行业的公司。Cocos在203个国家和地区拥有超过654.38+0.5万注册开发者。同时,Cocos也是国内完全自主知识产权的3D图形渲染引擎。
在我们接触的主机厂中,很多主机厂都在强调要升级驾驶舱HMI。希望驾驶舱的视觉表现更加酷炫,在PBR的基础上实现更加亚时代的效果。
我们认为AR已经成为继屏幕显示、语音交互、视觉交互之后的又一种交互方式。Cocos希望通过这种交互方式,帮助主机厂打造更多的内容生态,提升AR-HUD的使用范围,升级驾驶舱体验。
除了汽车,我们现在看到的ar产品几乎都是使用很多优秀的游戏引擎开发的,所以我认为后续的OEM厂商在做AR展示内容的时候也会基于这些优秀的游戏引擎进行开发。
Cocos HMI智能驾驶舱解决方案
Cocos HMI智能驾驶舱解决方案已覆盖车载人机交互界面、自动辅助驾驶可视化、车载虚拟影像、车载游戏、音乐播放器等能力。它已经覆盖了驾驶舱内包括HUD、仪表、IVI和娱乐辅助屏幕在内的多种显示设备。
系统支持方面,已经适配安卓、Linux、QNX、鸿蒙系统等主流车载系统。Metal、Vulkan、WebGl 1.0、WebGl 2.0、GLES2、GLES3等常用渲染后端也已得到全面支持。
从3D Max、Maya、Blender等3D DCC工具导出的传统3D格式文件和传统多媒体资源,可以直接导入到Cocos开发工具中进行二次开发。再加上Cocos Creator的UI编辑器、动画编辑器和编码环境,可以直接使用常用的PBR材质系统、粒子系统、实时光照等效果,方便用户在驾驶舱搭建3D场景。
此外,Cocos还支持Web系统,这意味着在开发阶段只需要维护一套代码,就可以发布到各个平台,大大节省了主机厂的维护成本。
更有趣的VPA
越来越多的OEM厂商开始使用VPA形象来取代老一代的语音助手形象。基于实时渲染的3D图像在情感交互方面将更加灵活和强大。Cocos目前可以为语音场景提供包括形象设计、形象建模、动作制作在内的一整套框架,包括链接其他app的功能。
在制作新一代VPA的过程中,主机厂希望引入游戏化元素,使之成为一种运营功能。比如介绍一些节日彩蛋和生日彩蛋。国庆中秋期间,有没有新的东西可以实时送到用户的车上,让用户时刻保持3D影像的新鲜感?
Cocos engine作为一款游戏开发引擎,有自己的热更新框架,可以支持从模型、代码、场景、脚本逻辑的整个VPA形象的实时更新。
Cocos将为主机厂搭建后台服务:资源管理平台,可以独立于OTA提供实时热更新能力。有了实时热更新,每周、每天都可以给VPA发新衣、新动作,让主机厂可以不受OTA节奏限制的运营VPA。
比如短视频平台上的一个舞蹈火了,工程师把舞蹈动作的脚本文件打包上传到更新后台。第二天,当用户打开汽车时,车主的虚拟个人助理形象可以跳这种舞,这对用户来说是一种更有趣的体验。
让阿达斯不那么?累吗?
目前越来越多的车型提供自动辅助驾驶功能。不过之前看到一个调查,很多车主在使用自动辅助驾驶时会更累。主要原因是有时候自动辅助驾驶的可视化不够好,车主不知道自己的车接下来要做什么。这个时候他会有很大的恐慌和紧张,长时间处于这样的情绪中,他会觉得很累。
所以自动驾驶的可视化也是自动辅助驾驶功能中非常重要的一部分。Cocos基于主机厂提供的原始地图数据,按照相应HMI的视觉风格进行三维可视化渲染。使用符合主机厂要求的视觉方案进行3D还原,以提高车主使用ADAS功能的体验。
多模式互动汽车游戏
游戏是Cocos的重要应用场景之一。在车载游戏领域,Cocos做的更多的是帮助OEM厂商构建驾驶舱内的多模态互动游戏。包括一些基于车内摄像头的体感游戏,结合麦克风的语音游戏,结合方向盘的运动游戏。以及将前后屏、主副驾屏联动的多屏联动游戏。
更有氛围的音乐播放器
音乐是驾驶舱最传统的功能,也是使用率前三的核心功能。目前很多主机厂都有升级音乐播放器创造差异化的需求,而不是用某个音乐播放器的车载版。基于3D渲染引擎的能力,Cocos可以帮助OEM厂商重新包装音乐播放器,通过歌词和音乐可视化来提升驾驶舱内的音乐氛围。
Cocos运行时间:低延迟,?就点击使用?
Cocos Runtime是Cocos开发的一款商业SDK,支持交互式内容无需安装即可运行。它可以运行在多种操作系统平台上,可以理解为一套小程序和游戏的底层运行框架,支持主流JavaScript游戏引擎开发的内容,可以高效地最大化数字内容的运行效率。各种硬件设备和app与Runtime整合后,用户能感受到数字互动内容?点击播放?流畅的体验,而不是通过传统的下载模式。
在车厢内,部分HMI产品的启动和加载时间长达数十秒,无疑会严重影响驾乘人员的体验。比如AR-HUD,理想情况下要实现毫秒级的延迟控制,才能将数字虚拟世界与现实世界精准融合,这直接决定了用户的体验效果。通过引入Cocos运行时,可以提高启动和加载速度,减少操作延迟。
完善Cocos生态链,探索更多技术边界。
开发者生态方面,Cocos目前全球共有6.5438+0.5亿注册开发者。除了国内的一线互联网公司,脸书、谷歌、育碧等海外公司都在与我们进行技术合作。
Cocos最近还与任天堂合作建立了一个开发者生态系统。Cocos Creator将很快支持任天堂Switch。届时,开发者申请成为任天堂认证开发者后,联系Cocos获取引擎,游戏即可一键发布至NS。
在全球最大的开源社区Github中,Cocos在游戏引擎项目中的Pull请求也是位居前列的。
Cocos也在做基于开发者生态的一系列沙龙巡演和线上直播。多了解开发者的真实诉求,从而打造更好的内容研发工具。
总的来说,Cocos将继续提供更完整的工具链和解决方案,基于3D应用场景,帮助车企在新一代智能驾驶舱的竞争中占得先机。@2019