澳门贵宾会网址,澳门贵宾会网址大全,官方澳门贵宾会网址,

VR第十四课——VR一体机开发模式及未来影院
时间:2018-11-16

国家艺术基金VR艺术创作人才培养项目  

据原国家资讯出版广电总局影片局统计,2017年,中国影片票房总收入达559.11亿元,消费需求巨大,但大众观影仍受制于时间与空间。而VR产业可以提供影院级效果,规避时空局限,但又受限于内容供给,无法为用户提供一系列成熟服务。

面对用户真实需求和巨大市场潜力的环境,5月29日,国家艺术基金VR艺术创作人才培训班邀请到了负责爱奇艺VR一体机App部分研发工作的徐轲老师,在江西南昌泰豪动漫职业学院给学员们先容了VR一体机模式的探索、SDK的技术实现以及未来影院的技术实现等问题。

在谈到开发平台等选择问题时,徐老师分别从头显和移动一体机各自的优势和劣势展开分析,清晰梳理了如何根据自身开发的目的选择合适的显示设备;同时分析了Daydream、Qualcomm等平台各自能够提供的VR服务,以及利用SVR提供的基础的VR服务 + 自研Controller作品平台的解决方案。

接下来,徐老师梳理了基于通用设备必须开发等部分功能,比如:需要开发launcher、Setting、图库、文件管理、应用商店以及游戏;需要兼容cardboard应用、daydream应用、Gear 应用;需要支撑用户安装2D应用并转化成VR 应用显示;对性能优化的需要从各个角度不断进行;一些to B的需求不太方便拓展;又分析了垂类设备必需的开发部分:需要launcher、Setting 以及垂类的必须应用,甚至可以将三者整合;应用商店内应用更单一不需要兼容多种应用,甚至可以没有应用商店;对性能的要求变得更加单一,优化的方向比较明确;to B的需求容易开发;基于上面两方面的分析梳理,能够比较明确的选择设备的开发属性。徐老师认为,开发团队应该充分利用自身的优势,确定开发模式以及商业模式。

徐老师根据自己团队VR一体机的SDK技术,阐释了技术实现路径。首先给出了爱奇艺本身的视频、游戏、运营、IP扶持的内容生态,已经开发的头部内容、创新内容、引入的VR精品游戏、视频合作平台等,先容了爱奇艺一体机,它能够支撑全尺寸视频播放、VR显示全功能支撑、遥控器与头控输入混合模式以及VR输入法等,并分析了SDK的基本结构和VR Display解决的问题,比如Timewrap、Framebuffer分离、利用陀螺仪数据产生中间帧的ATW问题;节省 cpu 的读取时间的SingleFrame Buffer问题;硬件屏幕的提升(LCD、FastLCD、OLED)等屏幕刷新频率问题等。

结合开发经验,徐老师展示了VR Controller 解决的问题、VR Play 解决的问题以及4K视频播放测试结果。

徐老师认为下一代VR一体机等技术规划为:基于语音识别、语义的理解与视频内容常识图谱构建新的内容交互方式的语音识别与模糊搜索;基于机器学习训练提升视频显示方式的识别率的视频播放检测学习与显示优化;基于眼部追踪着重渲染视线可见区域提升渲染效率的Eye Tracking与渲染优化;以及基于构建新的交互方式,提升沉浸感与自然操作感觉的手势与多输入设备支撑。

徐老师给出了IQUT未来影院的概念:IQUT是一套基于虚拟现实和人工智能技术、软硬一体的整体解决方案和体验标准,包括定制的影院品质视频内容平台和定制的影院体验移动终端设备,可以实现随时随地获得媲美影院的视听效果,让用户能够轻松在家看大片。

基于未来影院这一概念,提出了生产、播放、场景构建的技术优化路线。提出了图像质量提升的关键因素:

声音效果的改善从简单的声音位置辨别的立体声到平行环绕的5.1、7.1到完全沉浸式声场Atmos,徐老师提出了IQUT的音视频标准为学员的创作提供了参考。

徐老师结合项目开发经验,展示了X-Clear:视频+AI的影像处理技术、X-Pano:8K全景播放技术、格式的自动识别技术、数字版权管理(DRM)。

最后,徐老师分享了VR社交的尝试,并提出了VR社交技术的关键问题:基于爱奇艺的人脸识别SDK并优化调整脸部五官关键点位置的准确的建模;人脸模型与美术资源的融合成VR 3D 形象,尤其是各个接缝部分的平滑;输入语音情感计算出来的模式的准确性的模式匹配问题。

XML 地图 | Sitemap 地图