以现在的技术在VR社交中可以做些什么?国内外有没有类似的软件?
在VR社交的这个阶段,已经完成了对社交对象的位置、方向、基本姿势、头部位置的跟踪。这种VR社交已经可以给参与者很强的社交体验,但这只是VR社交的开始,离未来还很远。VR社交的发展如果分代的话,充其量只是第一代,只满足最基本的需求:可以互相交流,可以看到自己的手和对方的头手等等。
真正顶级的VR社交体验应该是:在虚拟环境中,你可以和社交对象交流,你可以看到Ta,感受到Ta,你可以在背后和你交流的时候感受到Ta在看你,你可以感受到Ta在微笑或悲伤时的不同表情,当你转头或关注某一点的时候,Ta可以感受到你的关注,等等。
社会参与者在虚拟环境中获得和真实环境中一样的体验,这才是VR社交的杀伤力。
让VR社交火力全开的技术难点主要在于三个方面:
1,《阿凡达》再现;
2、面部表情跟踪;
3.真实场景的还原。
首先,《阿凡达》再次出现
这是VR社交最关键的一点,因为一旦创造出与真实身体完全同步的《阿凡达》(延迟低到大脑自动忽略),社交参与者就可以通过操纵身体来改变社交对象的社交感受。
《阿凡达》复制需要跟踪你的面部表情和身体各部分的反应,而这种跟踪和复制是实时的,所以技术上有难度。技术难点主要在于追踪和再现的延迟、设备(PC、一体机VR头盔)的数据处理能力、追踪传感器的灵敏精度、社交网络的带宽等等。比如在社交过程中,你的微笑需要被传感器追踪,设备的数据经过处理后,通过高速宽带网络传输到社交对象的VR设备上,并在其虚拟环境中再现。这其中的任何一个环节都不能有差错,否则社交对象就无法获得可能在你们的交流中至关重要的微笑。极致体验总是在最细节处获得!
微软最新的3D捕捉技术Holoportation,结合Hololens等混合现实显示设备,已经能够实现人体高清3D模型的实时扫描、压缩、传输和重建,可以算是《阿凡达》再现的一个原型。
第二,面部表情跟踪
面部表情跟踪其实是《阿凡达》复制的一个分支,因为技术难度非常高,所以单独列出来。有多难?为了完整准确地实现人脸表情跟踪,涉及到的学科包括CV、传感器、力学、电子学、心理感知、机器学习、人脸动画等...作者总是遵循一个非常简单的标准来判断一项技术的复杂程度:涉及学科的广度。一项技术涉及的学科范围很广,毕竟整合所有学科不是一件简单的事情。
在一次采访中,USC助理教授李浩描述了SIGGraph(计算机图形学特别兴趣小组)计划的产品,该计划由Oculus和USC共同开发。这个项目的产品主要用于面部识别。这里不细说技术点,只说一个容易理解的难点——在VR中,用户头部被HMD遮挡,使得VR中的人脸表追踪不再和平时一样。
研究人员将芯片嵌入上图中的泡沫板中(也就是黄色标记的部分),通过感应面部肌肉的抽动,捕捉到你脸部上方的表情,瞬间感觉如此高端有木有!前方伸出的摄像头和往常一样,通过镜头追踪用户下巴和嘴巴的表情。从技术上来说,SIGGRAPH已经基本实现了VR社交中的面部表情追踪,但是你一眼就能看出,这样的设备还远远没有实现面部表情的完美追踪和再现。光是这款设备的外形就一定会让大家看到尴尬的毒瘤,更别说用户体验了。
第三,真实场景的还原
VR社交的实现一定是以特定的形式,比如VR游戏或者VR微信,这就涉及到社交场景的构建。
真实场景的虚拟再现在虚拟现实技术中占有重要地位。它是以全景图像虚拟现实技术为基础,通过计算机技术实现全方位互动观看的真实场景还原和展示方式。通过VR眼镜,可以从前到后、从左到右观看,有身临其境的感觉。场景的重建必然需要全方位的扫描、3D建模、数据传输、场景内容的材质/光线还原等诸多因素。
即将在淘宝上市的Buy+采用了虚拟现实技术,号称能100%还原真实场景,并能利用TMC三维动作捕捉技术捕捉动作,触发虚拟环境的反馈。但实际上,现有技术完全可以还原静态现实场景的虚拟现实,难点在于如何实现动态还原。静态还原只是街景地图,远远不足以给参与者一种社交体验。而如果要实现动态画面,涉及大量的3D建模工作,对于VR硬件的GPU性能也是一个考验。好消息是AMD最近推出了VR设备的新技术标准,包括视角120度,延迟20ms,分辨率16k!
技术创新的驱动力一直是巨大红利的诱惑,虚拟现实社交的到来是必然的。作为流量的最大入口,即使技术难度再高,从业者也绝不会放弃这个巨大的金矿。
杀手级VR社交应用之所以至今没有出现,自然不是从业者吊消费者胃口,当然也不是消费者抵制VR社交。VR日报一直一针见血,存在技术瓶颈。
在VR社交的这个阶段,已经完成了对社交对象的位置、方向、基本姿势、头部位置的跟踪。这种VR社交已经可以给参与者很强的社交体验,但这只是VR社交的开始,离未来还很远。VR社交的发展如果分代的话,充其量只是第一代,只满足最基本的需求:可以互相交流,可以看到自己的手和对方的头手等等。
真正顶级的VR社交体验应该是:在虚拟环境中,你可以和社交对象交流,你可以看到Ta,感受到Ta,你可以在背后和你交流的时候感受到Ta在看你,你可以感受到Ta在微笑或悲伤时的不同表情,当你转头或关注某一点的时候,Ta可以感受到你的关注,等等。
社会参与者在虚拟环境中获得和真实环境中一样的体验,这才是VR社交的杀伤力。
让VR社交火力全开的技术难点主要在于三个方面:
1,《阿凡达》再现;
2、面部表情跟踪;
3.真实场景的还原。
首先,《阿凡达》再次出现
这是VR社交最关键的一点,因为一旦创造出与真实身体完全同步的《阿凡达》(延迟低到大脑自动忽略),社交参与者就可以通过操纵身体来改变社交对象的社交感受。
《阿凡达》复制需要跟踪你的面部表情和身体各部分的反应,而这种跟踪和复制是实时的,所以技术上有难度。技术难点主要在于追踪和再现的延迟、设备(PC、一体机VR头盔)的数据处理能力、追踪传感器的灵敏精度、社交网络的带宽等等。比如在社交过程中,你的微笑需要被传感器追踪,设备的数据经过处理后,通过高速宽带网络传输到社交对象的VR设备上,并在其虚拟环境中再现。这其中的任何一个环节都不能有差错,否则社交对象就无法获得可能在你们的交流中至关重要的微笑。极致体验总是在最细节处获得!
微软最新的3D捕捉技术Holoportation,结合Hololens等混合现实显示设备,已经能够实现人体高清3D模型的实时扫描、压缩、传输和重建,可以算是《阿凡达》再现的一个原型。
第二,面部表情跟踪
面部表情跟踪其实是《阿凡达》复制的一个分支,因为技术难度非常高,所以单独列出来。有多难?为了完整准确地实现人脸表情跟踪,涉及到的学科包括CV、传感器、力学、电子学、心理感知、机器学习、人脸动画等...作者总是遵循一个非常简单的标准来判断一项技术的复杂程度:涉及学科的广度。一项技术涉及的学科范围很广,毕竟整合所有学科不是一件简单的事情。
在一次采访中,USC助理教授李浩描述了SIGGraph(计算机图形学特别兴趣小组)计划的产品,该计划由Oculus和USC共同开发。这个项目的产品主要用于面部识别。这里不细说技术点,只说一个容易理解的难点——在VR中,用户头部被HMD遮挡,使得VR中的人脸表追踪不再和平时一样。
研究人员将芯片嵌入上图中的泡沫板中(也就是黄色标记的部分),通过感应面部肌肉的抽动,捕捉到你脸部上方的表情,瞬间感觉如此高端有木有!前方伸出的摄像头和往常一样,通过镜头追踪用户下巴和嘴巴的表情。从技术上来说,SIGGRAPH已经基本实现了VR社交中的面部表情追踪,但是你一眼就能看出,这样的设备还远远没有实现面部表情的完美追踪和再现。光是这款设备的外形就一定会让大家看到尴尬的毒瘤,更别说用户体验了。
第三,真实场景的还原
VR社交的实现一定是以特定的形式,比如VR游戏或者VR微信,这就涉及到社交场景的构建。
真实场景的虚拟再现在虚拟现实技术中占有重要地位。它是以全景图像虚拟现实技术为基础,通过计算机技术实现全方位互动观看的真实场景还原和展示方式。通过VR眼镜,可以从前到后、从左到右观看,有身临其境的感觉。场景的重建必然需要全方位的扫描、3D建模、数据传输、场景内容的材质/光线还原等诸多因素。
即将在淘宝上市的Buy+采用了虚拟现实技术,号称能100%还原真实场景,并能利用TMC三维动作捕捉技术捕捉动作,触发虚拟环境的反馈。但实际上,现有技术完全可以还原静态现实场景的虚拟现实,难点在于如何实现动态还原。静态还原只是街景地图,远远不足以给参与者一种社交体验。而如果要实现动态画面,涉及大量的3D建模工作,对于VR硬件的GPU性能也是一个考验。好消息是AMD最近推出了VR设备的新技术标准,包括视角120度,延迟20ms,分辨率16k!
技术创新的驱动力一直是巨大红利的诱惑,虚拟现实社交的到来是必然的。作为流量的最大入口,即使技术难度再高,从业者也绝不会放弃这个巨大的金矿。中国增强现实产业联盟或ARA对VR微信有点兴奋。