书名:Unreal Engine 虚拟现实开发
ISBN:978-7-115-48664-6
本书由人民邮电出版社发行数字版。版权所有,侵权必究。
您购买的人民邮电出版社电子书仅供您个人使用,未经授权,不得以任何方式复制和传播本书内容。
我们愿意相信读者具有这样的良知和觉悟,与我们共同保护知识产权。
如果购买者有侵权行为,我们可能对该用户实施包括但不限于关闭该帐号等维权措施,并可能追究法律责任。
编 著 王晓慧 崔 磊 李志斌
责任编辑 胡俊英
人民邮电出版社出版发行 北京市丰台区成寿寺路11号
邮编 100164 电子邮件 315@ptpress.com.cn
网址 http://www.ptpress.com.cn
读者服务热线:(010)81055410
反盗版热线:(010)81055315
虚幻引擎(Unreal Engine)是目前世界知名度高、应用广泛的游戏引擎之一,全新版本的虚幻引擎4(Unreal Engine 4,UE4)非常强大且灵活,为设计人员提供了一款高效的设计工具。
本书通过8章内容讲解了虚幻引擎4的一系列功能及项目制作流程。读者可以循序渐进地学习本书,全面认识UE4并了解它的操作界面,同时实际尝试各种设计技巧和案例,并最终将项目发布完成。
本书适合虚幻引擎美术师、爱好者和从业者学习,也适合熟悉其他游戏引擎并想学习使用虚幻引擎的读者使用,也可供数字媒体或计算机相关专业的学生参考学习。
王晓慧,北京科技大学机械工程学院工业设计系副教授,2014年博士毕业于清华大学计算机系。研究方向包括情感计算、虚拟现实、大数据处理与可视化、交互设计、数字化非物质文化遗产等。在IEEE Transactions on Affective Computing、The Visual Computer、ACM Multimedia、ICIP等重要的国际刊物和会议上发表论文20余篇。主持国家自然科学基金项目1项、北京市社会科学基金项目1项、北京市科技计划项目1项、中国博士后科学基金项目1项、中央高校基本科研业务费项目1项、CCF-腾讯犀牛鸟创意基金项目1项、北京科技大学-台北科技大学专题联合研究计划项目1项、横向项目多项;参与“973”项目1项、国家自然科学基金面上项目2项。其中,自主研发的虚拟现实数字工厂系统擅长大规模模型处理,已成功应用于核电站、石化、检测仪器等工业领域。出版译著《精通Unreal游戏引擎》《网络多人游戏架构与编程》。获得软件著作权3项,获ACM Multimedia 2012重大技术挑战奖、IBM Ph.D. Fellowship award等多项荣誉。除此之外,还担任期刊International Journal of Communication Systems、Neurocomputing、自动化学报等的审稿人,国际会议AIMS2018的会议主席。主讲本科生课程“交互设计技术”“信息可视化”和“游戏设计”,主讲研究生课程“人工智能技术与设计应用”。个人邮箱xiaohui0506@foxmail.com。
崔磊,资深交互新媒体设计师,2013年光华龙腾设计十杰提名奖获得者,北京虚实空间科技有限公司联合创始人。20世纪90年代中前期开始接触个人电脑,大学期间就开始利用三维绘图软件进行建筑效果图的创作。2001年于北京工业大学建筑系获得建筑学学士学位。2004年赴瑞典留学,先后获得瑞典工学院(KTH)管理专业和查尔莫斯工学院新媒体艺术专业硕士学位。在瑞典期间开始从事人机交互、虚拟现实、信息可视化传达等领域的创意策划与设计工作,多个作品在欧洲新媒体展展出。2007年回国后,主持并参与了奥运会与世博会期间多个大型展示馆的人机交互展示项目。在虚拟现实、人机交互等领域有着极其丰富的经验和敏锐的视野。2014年起在北京工业大学艺术设计学院任客座讲师,主讲“数字化信息传达”课程。
李志斌,自幼学习绘画,有着深厚的传统绘画艺术功底,对艺术有着执着的追求,虽然跨界到计算机视觉艺术领域,但坚持认为,万变不离其宗,美的标准是不变的。在虚幻引擎(UE4)美术方面有深厚的造诣和执着追求。2000年毕业于湖南科技大学艺术学院油画专业。2001年中国传媒大学动画学院进修三维动画并取得Autodesk官方认证的3ds Max认证教师和认证工程师资格。2003年加入北京无限影像科技有限公司,担任动画部门(海外部)主管,其间参与并主导了大量海外建筑视觉表现和动画演示。2006年开始探索早期虚拟现实领域,并积累下丰富的开发经验,并为中国安检行业巨头同方威视成功开发安检虚拟现实交互应用。2008年参与奥运场馆水立方灯光展示动画。2010年起创业至今,成功完成北京天坛公园复原和改造动画、颐和园复原动画、圆明园复原动画、VR兵马俑、VR金山岭长城、VR圆明园之海晏堂、VR乐山大佛等颇具影响力的虚拟现实体验项目。
近20年来,计算机技术飞速发展。互联网、人工智能、大数据、移动网络、虚拟现实等概念层出不穷,同时给我们的生活带来了极大的影响。虚拟现实(Virtual Reality)正是随着计算机技术和互联网的发展,进入大家视野的事物。从20世纪60年代就开始萌芽的虚拟现实技术在之前五六十年的发展中基本上是停留在实验室阶段,同时产生过一些商业上并不成功的产品。然而从2014年开始,普通消费者级别的虚拟现实眼镜面世,实惠的价格、优秀的用户体验,让人们初尝沉浸式立体视觉的神奇之处,随之而来的就是虚拟现实的新一次浪潮。
在过去的几年中,虚拟现实主要以硬件发展为主,Facebook、Google、高通、微软、HTC等国际知名科技公司都开始进入虚拟现实设备的研发和推进领域。国内的大型互联网公司与科技公司也在纷纷进行虚拟现实战略的布局。据权威机构分析,到2022年,虚拟现实硬件的市场规模都会以每年翻倍的趋势高速发展,很快将成为人们日常生活中重要的电子设备之一,人们会将一部分娱乐、工作、学习和社交的时间花费在虚拟现实中。
在虚拟现实硬件高速发展普及之后,虚拟现实产业将迎来软件和内容方面的爆发,其增长势头将超过硬件的发展。众多主流游戏引擎和图形工具均开始支持市场上的虚拟现实硬件,为内容的生产提供了众多选择与基础技术保障。虚拟现实真正爆发的基础就是硬件的普及和真正爆款虚拟现实应用的诞生。
作为老牌游戏引擎和优秀的数字三维制作工具,虚幻引擎(Unreal Engine 4)自然不会错失这个市场机遇,开始支持虚拟现实的开发。经过多个版本的迭代(UE4的4.3版本开始支持虚拟现实开发,本书成稿时为UE4 4.19版本),UE4依靠强大的图形表现力、便捷的虚拟现实开发工具,成为开发者青睐的主流虚拟现实开发工具之一。
但对于国内市场而言,Unity 3D引擎的普及时间长,开发者众多,培训和教程更加丰富。虚幻引擎4虽然具有众多优秀的品质,但是要达到真正普及还需要一定的时间。市面上虚幻引擎4的培训课程、教程等相对匮乏,很多爱好者和从业人员想学习虚幻引擎4却不知道如何下手。这便是我们写作本书的主要原因。本书结合实战案例,由浅入深地介绍了虚幻引擎4美术部分的功能、制作流程、相关技能以及怎样进行初级虚拟现实的开发。读者跟随本书按部就班地学习之后,除了对虚幻引擎4的基础知识将有所掌握以外,还能够独立完成一个小规模的虚拟现实游览项目,为以后的进阶学习打下基础。
希望读者通过学习本书,都能快速成为具有虚幻引擎4实战能力的人员,在提高自己职业技能的同时,为虚拟现实事业的发展出一份力。
本书的目标读者如下:
虚幻引擎美术师;
虚拟现实爱好者和从业者;
熟悉其他游戏引擎想学习虚幻引擎的人;
数字媒体专业或计算机相关专业的学生。
本书的结构是按照从浅到深的学习顺序进行编写的,全书共分为8章。
第1章是绪论,简述了虚拟技术的源起、发展过程、当前的发展状况、主流的虚拟现实硬件和工具、虚拟现实的应用领域和场景以及对未来发展的一些展望,让读者对虚拟现实有一个初步全面的了解。
第2章是虚幻引擎入门,介绍如何安装虚幻引擎4和创建项目,简述虚幻引擎4的操作界面。
第3章是样板间场景创建,包括模型简化、模型分层和UV贴图设置等模型处理,从3ds Max中将模型导出为UE4可用的模型,并导入UE4,最终创建样板间场景。
第4章是材质操作,介绍用于材质操作的材质编辑器,讲解如何创建不同类型的材质,包括漆面、玻璃、金属、墙面、木质、布料等。
第5章是光照设置,介绍定向光源、点光源、聚光源和天空光照4种光照设置。
第6章是后期处理,讲解如何进一步提升场景的视觉效果。首先为样板间营造一个真实的室外环境,其次介绍基于Post Process Volume(后期处理体积)的后期处理特效。
第7章是虚拟现实硬件接口,介绍如何设置在两大主流的VR设备HTC Vive和Oculus Rift上使用UE4项目。
第8章是项目发布,介绍项目发布时的设置,展示样板间的最终效果。
虚拟现实(VR)是人类从二维显示向三维显示过渡的重要标志,整个行业都在快速地迭代和创新。虽然虚拟现实技术与引擎版本发展迭代很快,而本书从想法诞生到出版上市的时间周期较长,但我们仍对书中讲授的案例和方法充满信心,这些信心来自于北京虚实空间所有员工的帮助和支持。
北京虚实空间科技有限公司是拥有国际制作水准的VR公司,其文创类作品VR兵马俑、VR长城、VR圆明园曾多次代表国家参加国际文化交流,并多次摘得行业大奖。
衷心希望本书的出版可以启发更多的有识之士加入到VR行业,因为VR是科技发展的必然趋势,更是我们不可逆的未来。
本书由异步社区出品,社区(https://www.epubit.com/)为您提供相关资源和后续服务。
本书提供源代码,要获得该配套资源,请在异步社区本书页面中点击,跳转到下载界面,按提示进行操作即可。注意:为保证购书读者的权益,该操作会给出相关提示,要求输入提取码进行验证。
如果您是教师,希望获得教学配套资源,请在社区本书页面中直接联系本书的责任编辑。
作者和编辑尽最大努力来确保书中内容的准确性,但难免会存在疏漏。欢迎您将发现的问题反馈给我们,帮助我们提升图书的质量。
当您发现错误时,请登录异步社区,按书名搜索,进入本书页面,点击“提交勘误”,输入勘误信息,点击“提交”按钮即可。本书的作者和编辑会对您提交的勘误进行审核,确认并接受后,您将获赠异步社区的100积分。积分可用于在异步社区兑换优惠券、样书或奖品。
我们的联系邮箱是contact@epubit.com.cn。
如果您对本书有任何疑问或建议,请您发邮件给我们,并请在邮件标题中注明本书书名,以便我们更高效地做出反馈。
如果您有兴趣出版图书、录制教学视频,或者参与图书翻译、技术审校等工作,可以发邮件给我们;有意出版图书的作者也可以到异步社区在线提交投稿(直接访问www.epubit.com/selfpublish/submission即可)。
如果您是学校、培训机构或企业,想批量购买本书或异步社区出版的其他图书,也可以发邮件给我们。
如果您在网上发现有针对异步社区出品图书的各种形式的盗版行为,包括对图书全部或部分内容的非授权传播,请您将怀疑有侵权行为的链接发邮件给我们。您的这一举动是对作者权益的保护,也是我们持续为您提供有价值的内容的动力之源。
“异步社区”是人民邮电出版社旗下IT专业图书社区,致力于出版精品IT技术图书和相关学习产品,为作译者提供优质出版服务。异步社区创办于2015年8月,提供大量精品IT技术图书和电子书,以及高品质技术文章和视频课程。更多详情请访问异步社区官网https://www.epubit.com。
“异步图书”是由异步社区编辑团队策划出版的精品IT专业图书的品牌,依托于人民邮电出版社近30年的计算机图书出版积累和专业编辑团队,相关图书在封面上印有异步图书的LOGO。异步图书的出版领域包括软件开发、大数据、AI、测试、前端、网络技术等。
异步社区
微信服务号
“THE BEST WAY TO PREDICT THE FUTURE IS TO INVENT IT.”
—— Alan Kay
……
今早的世界史课上,阿万诺维奇就用一个独立的模拟进程,带领我们目睹了公元1922年埃及考古学家发掘图坦卡蒙法老墓葬的场景。(昨天我们还在同样的地方见证了公元前1332年图坦卡蒙王朝的辉煌。)
第二节生物课上,我们又穿行在人类的动脉之中,感受着心脏的跳动,就像在看老电影《神奇旅程》。
而在艺术课上,我们每个人都分到一顶无檐软帽,并戴着它参观了卢浮宫;到了天文课,我们又登上了木星的每一颗卫星。我们站在遍布火山口的地表,听老师解释火山口的形成过程。讲课的时候,木星遮住了半个天空,大红斑就在老师左肩的位置上翻腾。后来她捏了捏手指,我们便到了欧罗巴,开始讨论冰层之下生物存在的可能性。
上面的文字出自恩斯特·克莱恩(Ernest Cline)的科幻小说《头号玩家》(Ready Player One),对于未来课堂的描绘让我们觉得那是个还很遥远的未来,但实际上随着计算机硬件与软件的发展,计算性能的提升,书中描写的情节已经能够在我们的生活中重现,这里面所依托的技术就是时下非常热门的“虚拟现实”(Virtual Reality,VR)技术。
单从字面上看,“虚拟现实”(Virtual Reality)一词本身就包含着悖论,既然是虚拟的,又为什么称作现实?既然是现实,又何来虚拟?但这恰恰是这个矛盾的统一体,从出现伊始就开始激发艺术家和计算机科学家的丰富想象力,在文化创意产业、娱乐经济中显示了广泛的应用前景。目前流行的最简明扼要的解释是,虚拟现实是一种由计算机生成的沉浸性、交互性的体验。“虚拟”和“现实”两个词语的组合恰恰体现出虚拟现实技术的两个核心特点:第一是内容由计算机三维数字技术制作完成,第二是呈现给体验者近似逼真的现实环境体验。
虚拟现实这个概念从广义上来讲可以涵盖到电影、动画、游戏等诸多领域,而本书中的虚拟现实概念则是狭义的,它仅指“沉浸式虚拟现实”(Immersive Virtual Reality)。事实上,在没有亲身体验过沉浸式虚拟现实技术之前,可能难以想象到虚拟现实技术的不可思议。它已经完全超越了目前我们对计算机图形图像技术(三维动画、影视特技、三维游戏等)的认知,将我们带入一个完全由计算机产生却几近真实的虚拟世界。所以建议大家有机会一定要亲身体验沉浸式虚拟现实设备(主流的设备都会在后面的章节中提到),相信体验之后大家对虚拟现实会有更加深刻的了解。
接下来的内容,将简要叙述虚拟现实的发展史、现状和对未来的展望,以便能让读者先对虚拟现实形成一个整体概念。在学习虚拟现实引擎的同时,建议查阅更多的相关资料,形成自己对虚拟现实的独特见解,为创作出更加有创造力的虚拟现实作品打下基础。
纵观人类的历史,在不同的时间阶段,人们都在尝试用当时最先进的技术创造沉浸式的体验场景。从远古时期的洞穴岩画到文艺复兴时期的穹顶艺术,到电影技术蓬勃发展时期的球幕影院,再到时下最热门的虚拟现实技术,随着人类社会科技水平的发展,我们创造出越来越接近真实的虚拟世界。由于很多技术手段并非是使用计算机数字技术的,所以我们将这些统称为“人造现实”,而“虚拟现实”正是在计算机数字图形图像技术兴起后的产物。
从前面所举的例子可以看出,在各个历史阶段人们主要将技术运用在传达视觉元素上。的确,科学研究表明,一个感官健全的人日常获取的信息中有70%~80%是通过视觉。也就是说,如果想对人们感情、情绪或者深层次的心理产生影响,首先需要给他们造成视觉上的信息冲击。所以不论是教堂穹顶画这样的“人造现实”还是“虚拟现实”,都会先在视觉信息载体上进行突破。俗话说“好钢用在刀刃上”,开发者们也深谙此道,将有限的时间和资金首先运用在视觉呈现技术上,这也就解释了为什么目前市场上虚拟现实眼镜产品繁多,但是有触觉反馈的控制器、虚拟现实中的立体声和嗅觉味觉模拟这些为其他感官进行信息传达的技术发展要滞后一些。
虚拟现实眼镜最初的造型可以追溯到1800年。当时人们已经掌握立体影像的技术,立体电影机的造型已经有了现在虚拟现实眼镜的雏形。而真正可以隔绝环境干扰,并且能够产生全景式幻觉的小型设备——立体黑白镜,诞生于1838年。图1.1所示是1870年生产的一款立体镜,它利用了人的立体知觉的生理特征,将两个镜片做成和眼睛同等宽度。如图1.2所示,双眼的视差能够使两个距离较小的图像合二为一,在经过大脑的处理形成立体视觉。因为人类进化缓慢,几百年之内身体结构不可能发生本质变化,形成立体图像的原理也不可能变化,所以200多年过去了,不论技术怎样发展迭代,立体影像设备的基本结构是不变的。
图1.1 1870年生产的立体镜(图片来自维基百科)
图1.2 立体视觉成像原理
“虚拟现实”这一概念诞生于1938年,法国戏剧理论家阿尔托在自己的论文《炼丹术戏剧》(The Alchemical Theater)中就提出了“虚拟现实”(法语La Realite Virtuell)的概念。
“虚拟现实”的概念提出以后,马上成为科幻小说家们热衷的题材。例如,赫克斯利(Aldous Huxley)所著的小说《勇敢的新世界》(Brave New World,1932)就描绘了一种名为“多感觉”(Feelis)的三维电影。美国作家布拉德伯里在短篇小说《大草原》(The Veldt,1950)中描绘了能模拟非洲大草原的全息墙面,也就是将房间的四壁都变成可以显示想象中场景的显示设备。
虽然在20世纪30年代“虚拟现实”这个概念就诞生了,但却是仅仅停留在文学作品中,当时连计算机还没有诞生,所以数字化的虚拟现实体验无从谈起,但是先驱者们并未停下开拓的步伐。1956年,计算机尚处在诞生初期,美国电影放映机制造商莫顿·海利希(Morton Heilig)构想了体验剧院(Sensorama)(图1.3),他试图将视觉场景、听觉刺激、震动与气味组合成新型的仿真设备。1960年,海利希申请了一个仿真面具(Simulation Mask)专利,专利名称是“为个人设计的立体电视设备”,该设备由立体眼镜和两个微型电视屏幕组成,能够呈现三维图像(图1.4)。这一面具结合了三维照相技术、具有焦点控制的广域视野光学技术、立体声和气味加工技术,并且增强了防震效果。两年以后,他造出了面具的原型机,并开发了5个涉及视、听、嗅、触觉的短片,但是未能取得商业上的成功。现在看来,在当时的技术条件下,连最基本的视觉上的体验都很难满足,更不用说其他感觉的模拟了。虽然创新值得肯定和尊重,确实也称得上是虚拟现实发展史上里程碑式的设备,但是用户体验上的不足成为阻碍这个设备成功的最主要因素。
图1.3 体验剧院模型(图片来自mortonheilig专利页)
图1.4 海利希立体眼镜模型
1968年,在哈佛大学任助理教授的伊万·苏瑟兰(Ivan Sutherland)在其学生斯普劳尔(Bob Sproull)的帮助下造出第一个头盔式虚拟现实显示器系统。因为这种头盔的重量超过人类头颈所能承受的程度,所以开发者们只好将它从天花板上吊下来,趣味地称之为“达摩克利斯之剑”(The Sword of Damocles)(图1.5)。而且,它能展示的“虚拟现实”内容不过是简单的线框模型构成的房间。尽管如此,人们却从中看到了新技术的美好前景。
图1.5 “达摩克利斯之剑”
接下来,苏瑟兰利用这套虚拟现实设备开始进行这方面用户体验的试验,并且得到了令人振奋的成果。首先,在虚拟现实设备中仅仅用照片就可以让人们置身在一个陌生的环境中,并且带来心理上的沉浸感。在他的一个试验中,测试者的头盔显示器内显示从摩天大楼顶上拍摄的地面街道的影像时,虽然测试者实际所处的环境很安全,但他们还是会感到惊慌失措,这充分证明了这种技术给用户心理造成了影响。接着,苏瑟兰用电脑图像取代了拍摄的电影图像,电脑图像由计算机系统实时生成,并且每秒更新多次,再加入追踪头部运动的传感器,使得计算机系统可以随着体验者头部的移动提供不同的透视图像,这样一来,有交互体验的虚拟现实便出现了。
在20世纪70年代之前,先驱者们已经运用自己超凡的想象力和强大的技术能力(当你真正了解那个时代计算机硬件的性能后,你就会佩服他们的技术水平了)尝试实现梦想中的“虚拟现实”,但由于当时计算机性能确实很低,虚拟现实设备给大家带来的用户体验不足以让其在市场上普及。这一次浪潮虽然悄无声息地过去了,但是却给后来的开发者积累了大量的经验,而且种种尝试结果都表明,从心理感受层面上讲,用户对沉浸于另外一个完全不同于现实的场景是没有抵抗力的,这也是从业者坚定地认为虚拟现实是用户界面的终极形态的依据之一。
虚拟现实这个概念在沉寂了10多年之后,再一次被文学潮流唤醒。1984年,威廉·吉布森出版了乌托邦式梦想的讽刺性小说《神经漫游者》(Neuromancer),作为赛博朋克(Cyberpunk)文化的代表作之一,本书据称也是著名系列电影《黑客帝国》(Matrix)的灵感来源。这部小说带动了在计算机空间和网络空间里进行虚拟体验想法的流行。吉布森对赛博空间(Cyber Space)的理解是一系列网络化的计算机图像空间,进而组成一个矩阵,像“集体幻觉”一样每天都会吸引数以亿计的访问者。进入20世纪80年代后期,围绕“虚拟现实”这个新的名词,迅速形成了一个文化圈,并且令吉布森感到惊讶的是,科学家和技术人员对其著作的关注以及人们在讨论他的科幻作品时都抱着很严肃的态度。
伴随着这次潮流,以杰伦·拉尼尔(Jaron Lanier)的虚拟编程语言研究公司(VPL Research,1985)为代表的一批研究虚拟现实技术的企业问世,虚拟现实眼镜、数据手套等关键设备被发明,虚拟现实技术开始步入实用期,不仅为医疗、军事、教育等领域增添了新手段,而且为艺术创造提供了新可能。
1989年,被誉为“虚拟现实之父”的杰伦·拉尼尔正式创造了英文“Virtual Reality”这一术语,并且率先开发出能够真正操纵计算机模拟的三维空间内虚拟物体的数据手套,虽然从今天的角度看起来这些设备有些笨重,而且通过很多条线缆与电脑连接,但是用户已经可以通过头盔显示器观察自己的行为在虚拟现实中的真实反馈,在实现虚拟现实中的人机交互方式上迈出了革命性的一步。图1.6中展示了拉尼尔公司研发的虚拟现实数据服装。
图1.6 拉尼尔创立的公司1989年推出的虚拟现实数据服装(图片来自维基百科)
被誉为“人工现实之父”的迈扬·克鲁格(Myron Krueger)建立了“人工现实”(Artificial Reality)系统。该系统将参与者的半身像显示在投影屏幕上,由计算机不断分析参与者的动作并实时地作出反应(图1.7)。克鲁格认为拉尼尔创造的“虚拟现实”一词包含了悖论而不愿意加以使用,宁可使用“人工现实”一词。
“人工现实从身体与仿真世界的关系感知人的行动,然后它生成视域、音响,以及令参与这一世界的幻象变得可信的其他感觉。”——迈扬·克鲁格
图1.7 克鲁格的作品
杰弗里·肖(Jeffery Shaw)的《可读之城》(The Legible City)(图1.8)让观众骑上一辆底座固定的自行车,通过有传感器的踏板驱动三维实时绘图系统,从而让观众获得游览曼哈顿的效果。可以说这是现在随处可见的VR自行车的鼻祖,运用相对简单的交互技术原理,把观众的日常行为与虚拟世界链接在一起。在完全能够模拟人体动态、手势等自然行为的技术成熟前,用我们日常的机械操作行为(骑车、开车、划艇等)作为人机交互界面(Human-Computer Interface)不会给体验者带来过多的操作不自然感,不失为当前技术阶段的一种好的解决方案。
1991年,媒体艺术家桑丁、工程师德凡蒂等开发了名为“洞穴”(Cave Automatic Virtual Environment,CAVE)的虚拟仿真环境(图1.9)。这种虚拟环境通常会将计算机生成的交互图像投射到一个方形的围合空间,体验者在空间一定范围内的移动会与墙面上投射的图像形成互动关系,而无需应用头盔显示、数据手套,同时也能提供足够的沉浸感。
图1.8 《可读之城》(The Legible City)
图1.9 CAVE系统(图片来自维基百科)
在这次浪潮中,有一些公司已经开始专注于能够面对普通消费者的虚拟现实设备。1991年,Virtuality公司发布了他们的虚拟现实游戏系统1000CS(图1.10)。这是一个沉浸式头盔显示平台,配有可以进行三维空间追踪的操纵杆。从外观和系统构成上看,该系统已经很接近现在市场上能看到的虚拟现实设备,但是当时高达60000美元的价格却让消费者望而却步,最终只生产350套便停产了。
图1.10 虚拟现实游戏系统1000CS(图片来自维基百科)
日本著名游戏机公司任天堂(Nintendo)也在这次潮流中做了尝试。1995年推出了虚拟现实游戏机The Virtual Boy(简称VB),由Game Boy之父横井军平主导开发。任天堂希望借助该公司当时明星主机Game Boy热卖和超级马里奥这样的热门游戏之势打开一个全新的市场。不过由于VB这个游戏主机理念太超前,虽然能够呈现奇特的立体视觉,但是受当时的技术能力所限,只能在眼镜里面显示红色的点线图(图1.11),这和当时市场上已经普遍运用CD-ROM呈现精美CG动画的其他主机相比(索尼的PlayStation、3DO等32位游戏主机),自然无法吸引消费者的眼球。再加上售价也不低,仅仅一年时间就黯然退出市场。
但是据1996年有幸体验过VB的玩家描述,当时所带来的冲击是非常大的,著名射击游戏《太空巡航机》里面的世界变得触手可及,玩家操纵的战斗机飞翔在无垠的宇宙中,虽然由简单点线组成的画面不够逼真,但是却给人置身宇宙空间的沉浸感。
图1.11 VB游戏界面(图片来自gengame官网)
虽然VB这个产品失败了,但是20多年后的今天,我们看到在强大的技术条件支持下虚拟现实游戏发展的新高度,还是要向当年主导开发VB的横井军平的勇气和前瞻致敬。
在接下来的一段时间里,沉浸式虚拟现实的民用化进程发展到了瓶颈,价格居高不下,用户体验水平却不高,这就导致虚拟现实技术只能在实验室和某些特定领域(如军事、工业)里有用武之地。但是开发者们并没有停止自己的脚步,直到2012年,虚拟现实的第三次浪潮到来,给虚拟现实发展带来了全新的开端。
经历了虚拟现实的前两次浪潮,虽然距离民用化还遥遥无期,但是无数探索者的努力已经为沉浸式虚拟现实的设计形态和技术路线打下了坚实的理论基础和实践基础,进入21世纪后,芯片技术(尤其是图形芯片GPU)和显示技术飞速发展,虚拟现实真正进入民用市场已经指日可待。
真正引爆第三次虚拟现实浪潮的是一款叫作Oculus Rift的虚拟现实眼镜。2012年,Oculus Rift在美国著名众筹网站上启动了众筹,原本25万美元的众筹目标最终以240余万美元创造了一个众筹神话。原本笨重昂贵的虚拟现实设备从此能够以亲民的价格进入消费者级别的市场。
Oculus Rift众筹模式成功地打开了一个闸门,国内外公司趋之若鹜,都开始纷纷效仿,推出自己品牌的虚拟现实眼镜(图1.12)。
图1.12 虚拟现实眼镜产品图(图片来自VR Headset India官网)
同年,谷歌公司推出了自己名为Card board的简易VR眼镜,相比Oculus Rift的数百美元,售价仅仅几美元的Card board传播得更加快速而广泛,用户用自己的手机下载特定的App后,横向插入Card board就能获得沉浸式的虚拟现实体验,虽然大多是由全景相机拍摄的全景视频,但却足以用最低成本的方式让大范围的用户获得最简单直接的沉浸式体验。
2014年,社交网络巨头Facebook公司宣布以20亿美元的价格收购Oculus公司,这在业界引起了轰动,继而一些国际大公司纷纷宣布推出自己的虚拟现实眼镜,资本圈的目光也被吸引过来,一时间群雄并起。2016年,除了Oculus公司推出了自己的第一款消费者级的虚拟现实眼镜Oculus Rift CV1外,HTC和索尼公司也分别推出了自己的消费者级虚拟现实眼镜。再加上舆论和资本的聚焦,2016年被冠以“虚拟现实元年”的称号。
Oculus、HTC和索尼公司均在2016年推出自己的面对普通消费者的虚拟现实眼镜,成为第一批推出民用VR产品的公司。下面我们来大致了解3家公司的产品。
Oculus在众筹成功后推出了其开发者版本的虚拟现实头盔Oculus Rift DK1。2014年3月26日,Facebook公司宣布以约20亿美元收购Oculus公司。2016年3月28日,消费者级产品Oculus Rift CV1正式发售(图1.13)。VR头盔包含两个1080像素×1200像素的OLED屏幕,综合分辨率为2160像素×1080像素,可以实现90Hz刷新率、110°视野,支持360°头部追踪及一颗体感摄像头检测动作。控制方面有环形的双手体感手柄并支持XBOX手柄。目前售价为399美元。2017年又推出了专属的控制器和定位设备。详细信息可查阅官方网站。
图1.13 Oculus Rift CV1(图片来自Oculus官方网站)
2015年3月2日,HTC公司发布消息称与VALVE公司(游戏《半条命》和游戏平台Steam的出品公司)合作推出了一款VR头盔,名为HTC VIVE,2015年春季推出开发者版本,2016年4月5日开始全球范围发售其VR头盔的消费者版本。VIVE的配置为两个1080像素×1200像素的OLED屏幕,综合分辨率为2160像素×1080像素,可以实现90Hz刷新率、110°视野。比较特殊的是VIVE头盔表面集成了37个传感器,通过在房间里安装两个定位器,就可以获得更加精准的头部和手柄控制器的空间坐标与动作。目前该款产品的国内售价为人民币5488元。详细信息可参见官方网站。
2018年初,HTC公司在拉斯维加斯举办的一年一度的消费电子展(CES)上,首次公布了自己公司的次时代VR头盔VIVE Pro(图1.14),为VR头盔新一轮的大战拉开了序幕。
图1.14 HTC VIVE Pro(图片来自HTC VIVE官方网站)
PS VR头盔(图1.15)于2016年10月份开始发售。头盔使用两个960×1080像素的OLED屏幕,综合分辨率为1080像素×1200像素,可以实现120Hz刷新率、100°视野。头盔加定位套装在国内售价为人民币3399元。单从屏幕解析度来看,要低于Oculus Rift CV1和HTC VIVE,但是索尼公司的优势在于其平台上的VR游戏都是通过严格审核和优化的,玩家可以获得极佳的用户体验。依靠庞大的PS主机玩家群体以及《生化危机7VR版》这类游戏大作,PlayStation VR发售半年之后大有赶超两个老大哥的趋势。详细信息可参见官方网站。
图1.15 PlayStation VR Headset (图片来自PlayStation官方网站)
和三巨头的产品相对较高的价格比较起来,谷歌公司的Cardboard可以说就是白菜价,它充分利用了人人都有手机这个情况,只给大家提供一个可以插入手机的壳子,极大地降低了成本。近3年来,很多国内厂商将谷歌公司的Cardboard发扬光大,纷纷推出自己品牌的手机壳子,造型上虽然千差万别,但是核心技术并没有什么太大的差异。这种低技术门槛的产品导致市场上劣质手机壳VR眼镜泛滥,在公众对于虚拟现实设备的正确认知方面起了极大的负面作用。
三星公司的Gear VR(图1.16)和谷歌公司的Daydream(图1.17)虽然也是手机壳加手机的方式,但是均只针对各自公司的几款手机,系统优化和用户体验非常好,可以归为与下面所讲的VR一体机同等的产品。
图1.16 Gear VR(图片来自三星公司官网)
图1.17 Google Daydream(图片来自谷歌官网)
前面提到的元年三巨头推出的虚拟现实头盔产品都需要配一台高性能计算机或者游戏主机作为图形处理器,除了虚拟现实眼镜的成本外,用户还需要购买价格不菲的计算机游戏主机,虽然可以获得较好的用户体验,但是整体成本还是偏高,所以VR一体机以其一两千元的亲民的价格受到了消费者的青睐。一体机从技术上说就是将移动芯片、传感器、显示器、电池集成到一个VR头盔内,所运行的系统都是经过各个出品方的优化,比起标准不统一的手机加手机壳来,整体用户体验要好得多。但是相比需要连接电脑或游戏主机的虚拟现实头盔的用户体验,尤其是画面的仿真度和三维场景内的互动性还是有很大差距。不过通过VR一体机,用户可以享受几乎所有的全景视频、全景动画和对于运算要求不高的VR游戏,可以算是性价比非常高的产品。随着处理器性能的提升和主动式定位技术在一体机上的运用,相信陆续会有更加优秀的一体机推出。
2017年,Oculus和HTC公司都纷纷宣布了自己公司的一体机产品,国内如PICO、大朋、IdeaLens等公司也均有同类产品。可以预见,在2018年,一体机市场的竞争将进入到白热化程度。
上一节提到了多家厂商的多种虚拟现实设备,而且“用户体验”是多次被提及的名词,那么好的虚拟现实用户体验都包括哪些方面呢?
首先得从沉浸式虚拟现实的3个特点说起,这3个特点在英文里都是以字母“I”为开头的,分别是“沉浸性”(Immersive)、“交互性”(Interactive)和“信息强度”(Information Intensity)。目前主流说法将第三个“I”叫作“想象力”(Imagination),但笔者更加倾向于使用“信息强度”这个概念。“想象力”体现在创作者营造虚拟现实世界时的创造力,但实际上很多虚拟场景是对现实存在的内容的再加工。为了让虚拟世界能够“说服”体验者,让他们信以为真,虚拟世界中的事物就要承载非常多的信息,这里不单单包含场景和物品的尺寸、材质、重量、温度等,甚至还要包含更多的深层次交互内容。而且这些信息还都需要通过不同的虚拟现实设备让体验者进行感知,所以不论是通过“想象力”创造一个虚拟世界,还是现实场景在加工后的虚拟化,信息的丰富程度都是让体验者真正投入的重要因素。目前虚拟现实技术在满足传递场景和物品的尺寸、材质等方面都没有问题,但在传递重量、温度等非视觉因素方面的信息难度很大,这也是虚拟现实开发者们努力的方向。
从人的感觉方面看,好的虚拟现实体验应该是对于人的感觉器官都有信息的传递,就像我们生活的真实世界中,人的视觉、听觉、嗅觉、味觉和触觉随时都在获取来自于真实世界的信息,而在目前的虚拟现实发展中,除了味觉的模拟难度较大,其他几种感觉的虚拟仿真化都取得了一定的成果。
最先能给体验者带来沉浸性的元素就是视觉元素,前面我们提到过,人们在日常获取的信息中有70%~80%是通过视觉。人类双目的生理构造,也决定了人们对于周围事物和空间的远近立体感判断是通过视觉完成的,当然这里同时包括眼睛(视觉信息获取)和大脑(视觉信息处理)整个系统的工作。从前人对于沉浸视觉的探索中可以总结出来,主要的方法是运用视觉元素将观众的视野包围起来,无论观众怎样变换自己的视线,获取的视觉信息都是创作者刻意营造的“人造现实”。所以在目前的沉浸式虚拟现实体验中,都是给体验者戴上一副又大又沉的虚拟现实眼镜,既提供了视觉信息,又将周围环境屏蔽,让体验者仅能看到眼镜中的画面。同时运用了动态捕捉的传感器,当体验者头部运动的时候,传感器将运动数据传递到电脑,电脑根据体验者头部和视线的变化重新渲染视线所及的画面,使体验者产生置身于另一场景的沉浸式体验。
视觉沉浸方面,比较重要的技术指标是刷新率、纱窗效应和余晖。如果VR眼镜中的画面有卡顿,像素颗粒很大,而且在转头的时候画面出现严重的拖尾,除了用户体验不好之外,给用户带来的最大问题就是会产生眩晕效果。解决刷新率的办法是提升CPU、显卡等硬件运算性能,优化VR软件,以便让VR软件运行的时候能够达到比较高的每秒传输帧数(Frame Per Second,FPS)。纱窗效应通俗就是VR眼镜中画面像素颗粒很大,这也和目前的显示屏幕的解析度有关系,如果屏幕解析度提高,还要保证画面的刷新率,对于实时渲染的性能要求就相应提高,需要更加强大的硬件,成本势必提高。目前Oculus CV1和HTC VIVE用的都是AMOLED显示屏幕,具备轻薄和低余晖特点。所以就目前的技术发展水平而言,势必要寻找一个成本和效果的最平衡点,以便达到相对好的用户体验。
听觉虽然不占最主要的因素,但是声音的方向同样会给观众带来极佳的沉浸感。这也是目前电影院都配备多声道环绕音响的原因,通过定点的音箱尽量模拟各个方向的声音。读者感兴趣的话可以自行上网搜索“3D环绕立体声理发馆”,找到相应音频,戴上双声道耳机,闭上眼睛,享受仅仅通过声音带来的沉浸体验。由于目前多数虚拟现实头盔配的是双声道耳机,加上虚拟现实引擎中对于仿真立体声技术的缺乏,所以还不能够满足模拟真实的沉浸声音,尤其是声音从体验者头顶或脚下传来的情况。不少公司也在声音模拟领域进行着研究和开发,相信很快就会有更好的算法让我们在VR中真切地感受到来自大自然的种种声音。
2017年年初,一家日本公司研发了一种名为VAQSO VR的小型外部设备(图1.18),可以加装到目前市场主流的VR头盔上。这个设备可以装载5个不同气味的盒子,放在VR头盔下方,正对体验者的鼻子,当体验者所体验的场景需要特殊的气味时,设备会将气味通过喷雾的形式传递给体验者。该公司计划在未来将可散发的气味拓展到300种以上,届时用户就能在虚拟场景中闻到清晨树林的味道、花草的芳香、战争中的硝烟,甚至洗发水的香味。
图1.18 安装在VR头盔上的VAQSO VR气味模拟装置(图片来自VAQSO VR官网)
如图1.19所示,互动性主要指体验者的行为对虚拟场景和虚拟物体起作用,并反馈回体验者以促成体验者下一次行为和循环的过程。
图1.19 互动的循环
在沉浸式虚拟现实中,头部移动画面发生变化已经是必备的要素,声音方位的算法也在向前发展。目前虚拟现实开发者们有一大部分精力投入到虚拟场景中的力反馈和肢体动作中。对于一个旨在“仿真”的虚拟现实场景中,环境和物体对于体验者的反馈越接近真实世界,体验者才会觉得越“逼真”。比如体验者在虚拟场景中拿起一把锤子,除了视觉中看到锤子外,手也要有抓住锤子把的感觉,同样还能够感觉到锤子的重量,而且在用这个虚拟的锤子敲击石头的时候能够感觉到真实的震动。在目前主流的消费者级虚拟现实设备中,虽然都有“手柄”这一互动设备,但是互动基本上是依靠判断手柄的位移和手柄上的按钮完成的,而反馈则是手柄内置电机的震动,距实现接近真实的反馈还有很大的差距。
为了实现这目标,很多公司首先投身到“数据手套”的开发中,试图用手套这种设备完成我们手部动作和反馈的模拟,从而让体验者感受更加真实。图1.20所示即是数据手套的一种,可以实现空间定位、五指弯曲、指尖震动等功能,但是还是与自然行为有所不同,当体验者戴着数据手套在虚拟空间中抓住一个物体时,手指确实能感觉到震动,提示体验者已经抓到一个虚拟物体,但是却无法有机制阻止体验者继续弯曲手指,这时候,在虚拟场景中很可能就会看到代表体验者真实手的虚拟手穿透虚拟物体的外壁,嵌到里面去了。目前还没有设备能够实现这种抓握物体大小的反馈,即各种“数据手套”很难在抓握到虚拟物体时给手指一个反向的力并且限制手指的运动。
图1.20 Manus Machina公司的VR数据手套(图片来自techcrunch官网)
对于模拟物体的重量难度就更大。目前有德国团队制作出占地面积很大的设备,可以模拟物体的重量,但是仅能用于大型工业设备的仿真,很难小型化进入消费者级的市场。
身体其他部位的力反馈则需要更加复杂的穿戴设备来完成,但是穿脱的时间过长又成了降低用户体验的因素,而且在不给体验者造成伤害的前提下,能够模拟的对于身体的力反馈与真实世界相比还是有较大差距的。
一些虚拟现实的开发者认为,手部动作的捕捉不应该借由“数据手套”这类硬件完成,而应该是靠裸手实现。实现方法是在VR头盔外面加装一套深度识别摄像头,代表产品有Leap Motion(图1.21)。这类摄像头可以准确地识别每一个手指关节,从而可以定义多种手势和手部动作。这种技术的优势在于不需要在手上佩戴额外的设备,而且识别精度大大高于数据手套。但这种技术的缺点同样明显,就是裸手在虚拟世界中交互,完全没有力反馈。所以对于摄像头手势识别这项技术一直存在较大的争议。
图1.21 安装在Oculus Rift VR头盔上的Leap Motion(图片来自vrheads官网)
人在现实生活中可不单单只是头部和手部的动作,大到躯干四肢,小到10根手指,周身上下又有许多个关节都可以活动。几款主流的虚拟现实设备因为要进入普通消费者的市场,为了控制成本,仅保留了头部和手部的定位。全身定位的数字技术则早已进入实用阶段,应用最广泛的就是制作影视CG时的动态捕捉系统,演员身着特殊的服装,身上布满定位点,捕捉系统可以相对精准地捕捉演员的肢体动作,但是将这套设备应用于虚拟现实体验成本过高。
在2018年4月的GDC 2018全球开发者大会上,Epic Games携手3Lateral、Cubic Motion、腾讯和Vicon展示了次世代的实时捕捉数字人物。开发团队根据一名中国演员的形象制作了高保真实时数字角色“Siren”,而英国女演员Alexa在活动期间通过动作和表情捕捉设备实时地驱动Siren进行表演。该项目的亮相十分惊艳,展示可在未来实时控制虚拟化身的可能性,让大家相信未来有可能会拥有自己的虚拟化身(有版权的数字肖像)。打破“恐怖谷”理论,创造真实可信的、具备感情的虚拟角色成为可能(图1.22)。
图1.22 GDC 2018全球开发者大会上的技术产品展示(图片来自UE官网)
还有一种价格不高的肢体动作捕捉设备是微软的Kinect摄像头。这种摄像头通过深度识别技术可以探测位于摄像头前面的人的头、肩膀、腰部、髋关节、手脚、四肢等主要关节,在家庭游戏领域有着较为广泛的应用(图1.23),但是应用于虚拟现实领域则存在着识别区域受限以及体验者侧身对着摄像头识别不准等问题。
为什么在虚拟现实体验中,肢体动作识别如此重要呢?原因还是要让体验者在虚拟世界中感受到“真实”。当我在虚拟世界里面看不到自己的脚,或者一双无法与自己双脚同步移动的虚拟脚,就很难说服我是在一个“仿真”的世界中。
并且在未来越来越成熟的虚拟社交场景中,每个人都会以一个或靓丽或帅气或标新立异的独特形象出现在别人面前的,也就是所谓的“虚拟化身”(Virtual Avatar)。如果肢体动作的捕捉无法实现,那么在这个场景内,大家就都面对一群动作僵硬的“虚拟好友”,自然交流的程度就会大打折扣,甚至有可能因为动作捕捉不到位使肢体动作变形,产生有歧义的动作语言而导致“友尽”,如此结果还不如回归到传统社交软件的文字、表情和语音呢。
图1.23 Kinect捕捉骨骼的效果
人类面部拥有42块表情肌,从而能够丰富地表达喜怒哀乐等表情。与动态捕捉一样,在影视特效领域已经成熟地运用表情捕捉摄像头采集演员的表情,这样能够让CG人物的表情更加接近真人。众所周知的詹姆斯·卡梅隆的《阿凡达》,其英文片名“Avatar”实际就是“虚拟化身”的意思,该电影就运用了面部捕捉的技术(图1.24)。
但是在虚拟现实体验中,由于体验者需要戴上几乎遮住半副面孔的VR头盔,即使脸上贴上标识点,摄像头也无法识别体验者的真实表情。虚拟现实行业内的公司推出了两类表情捕捉的解决方案。
图1.24 电影《阿凡达》在拍摄过程中的面部表情捕捉
一类是运用两个摄像头,一个藏在头盔内拍摄体验者眼睛与眉毛的运动,另一个摄像头放在头盔外面捕捉嘴巴和下巴的运动,从而获得整个面部的表情变化。
另一类是将传感器嵌入VR头盔与人脸接触的一圈海绵垫内(图1.25中的黄色部分即传感器),通过对面部肌肉运动的探测获取上半部分面部的表情,同样用另外一个摄像头捕捉嘴巴、脸颊和下巴的运动(图1.26)。
图1.25 头盔内的传感器(图片来自知乎网站)
图1.26 拍摄下巴与嘴部动作的摄像头(图片来自知乎网站)
不论是哪类解决方案,想在虚拟现实中实时捕捉体验者表情难度还是很大的,这主要在于捕捉与重建(真人表情映射到虚拟化身)的延迟、追踪传感器的敏感精度、设备数据处理能力以及网络的带宽等。而且面部追踪涉及的学科范围很广,包括电子、机械学、心理感知、机器学习、面部动画、传感器等技术。所以要达到成熟阶段还需要一定的时间。
语音识别在我们实际的生活中已经开始得到应用,如实时翻译软件、智能手机上的人工智能助理等。语音识别发展的成熟度远比虚拟现实要高,将语音识别引入虚拟现实体验后,体验者则多了一套全新的输入方法。在诸如手势识别、肢体识别还不成熟的情况下,语音识别输入可以说是一种相对自然而准确的交互方式。微软公司已经将语音识别应用于其增强现实眼镜HoloLens上,用户可以用简单的语音如“back”“remove”在虚拟场景下控制各种虚拟元素。相信随着语音识别技术的发展,语音识别技术在虚拟现实中的应用也会越来越丰富。
随着AlphaGo战胜诸多围棋高手,“深度学习”“神经网络”这些概念随着人工智能热潮进入了人们的视野。虚拟现实作为一种新型的展示终端,后台一定会搭载各种高新技术,人工智能就是其中之一。
人工智能的概念有些大,现阶段在虚拟现实中的应用叫作人文智能技术(Humanistic Intelligence)比较合适。VR中的人工智能不要求真的像仿真人的智能那样能够有意识地思考(如果真是这样的话虚拟现实就比较可怕了),而是发挥各种传感器、可穿戴设备等的优势,使人们能够捕获自己的日常经历、所见所闻,并与他人进行更加有效的交流。这种智能更加注重数据的积累、分析和计算,并且反馈回用户,是用户身心的拓展。
综上所述,目前市场上消费者级的虚拟现实设备仍然处在发展的初期,能达到的用户体验也是很初级的。如果想在上述所有方面都达到比较好的效果,无论从传感器、处理器还是软件算法方面,都需要有阶梯性的发展。尽管困难重重,但是虚拟现实的从业人员都拥有坚定的信念来实现这些目标。
增强现实(Augmented Reality,AR)、混合现实(Mixed Reality,MR)和虚拟现实一样,是现在经常同时被提及的两个概念,大多数人在第一次接触这几个概念的时候或许很难明白具体的差距,图1.27有助于理解这几个概念。
在本书的开始就做了说明,本书把虚拟现实作为一个广义的概念,而我们现在日常提及的VR实际上是“沉浸式虚拟现实”(Immersive Virtual Reality)的概念,在图1.27的左侧,体验者的视觉信息完全来源自虚拟图像。而“增强现实”和“混合现实”这两个概念严格来说都属于广义“虚拟现实”概念的一部分,分别叫作“增强型虚拟现实”(Augmented Virtual Reality)和“混合型虚拟现实”(Mixed Virtual Reality),这两类都是将虚拟的、由计算机产生的内容叠加在现实世界上,只不过虚拟内容的数量和类型有别。
图1.27 VR、AR与MR(图片来自APPLIED ART网站)
虚拟现实是通过不同的技术手段将体验者与现实环境割裂开,通过欺骗体验者的各种感官,使其有完全沉浸于新场景的感觉。而增强现实和混合现实则是在现实世界上增加信息量,可以说是对体验者感官的延伸。所以这几类技术的应用场景是完全不同的,虚拟现实的应用场景应该是相对安全和独立的空间,体验者在对外部环境有极高安全感的情况下沉浸在虚拟现实提供的场景中,所以适合在非开放式空间内完成。而增强现实和混合现实在日常生活中的应用更加广泛,举个简单的例子,很多人由于外语水平的限制根本不敢出国自由行,未来游客则可以毫无顾虑地佩戴着技术已经成熟的AR眼镜到国外去旅游,因为在AR眼镜中,他们看到的所有外语的标识、文字都已经翻译成中文,替换了原有的外文,跟外国人交流的时候他们的对话也被实时翻译成中文,从AR眼镜的耳机里进行传递。图1.28所示是一个增强现实的应用场景,用户的手机App可以将场所的信息叠加到手机摄像头拍摄的街景上,给用户清晰的导览。所以并非像有些媒体说的AR比VR要高级,其实这两种技术都是广义虚拟现实下面的分支,所运用的技术有部分是一样的,但是未来的应用场景则完全不同。
图1.28 增强现实(AR)的应用场景(图片来自lifewire官网)
比较知名的增强现实眼镜有谷歌眼镜(图1.29)和微软公司的HoloLens(图1.30)。谷歌眼镜于2012年公布,但是由于理念太过超前,且用户体验水平不高,所以一度被谷歌公司搁置,但是2017年又公布消息重启谷歌眼镜计划,且主要面对商业客户解决方案。微软公司的HoloLens虽然价格昂贵,但确是集合了诸多先进技术的产品,这些技术包括3D衍射显示、语音识别输入、基于深度识别摄像头的空间扫描与识别、惯性动态捕捉、手势识别等,正是以这些技术作为基础,保证了HoloLens的整体用户体验极佳。
图1.29 谷歌眼镜(图片来自edgylabs官网)
图1.30 HoloLens及应用(图片来自urban-hub官网)
引擎就是制作工具,可以让开发者实现自己的想法。目前市场上主流的引擎基本上是各个游戏公司最早为了制作自己的游戏而开发的工具,由于游戏的成功,工具也变得流行开来。
老牌的游戏引擎当数Doom引擎。Doom是ID Software公司在1992年推出的第一人称射击游戏,利用二维画面做出了墙壁厚度、任意路径角度、上下楼梯等三维效果,可以说是第一人称射击游戏史上的里程碑之作。1993年底,Raven公司采用改进后的Doom引擎开发了一款名为《投影者》的游戏,这是游戏史上第一次有一家公司将自己的游戏制作工具授权其他公司使用。在此之前游戏引擎只是各家公司为了开发自己的游戏而制做的工具,并没有任何游戏开发商考虑过用游戏引擎来赚钱,甚至还要对自己的引擎加以严格的保护。Doom引擎的成功,无疑为游戏厂商打开了一片新的市场。
接下来,市场上开始出现成熟的游戏引擎,ID Software公司又率先推出了支持Direct3D和OpenGL的真三维引擎Quake。1998年,本书的主角Epic Game公司的虚幻引擎(Unreal Engine)登场了,打破了ID Software垄断引擎天下的格局。虚幻引擎一经推出就获得了游戏公司的青睐,几年之内有数十款游戏使用了虚幻引擎。虚幻引擎让Epic Game公司从默默无名的小厂商一跃成为行业领军者。
接着在2004年推出的虚幻引擎3可以说是游戏引擎发展史上里程碑式的杰作,《使命召唤》《荣誉勋章》《彩虹六号》《质量效应》《战争机器》等著名游戏使用的都是该引擎。
虚幻引擎3的核心由C++编写,支持的平台包括Windows、Linux、Mac OS X、Dreamcast、Xbox、Xbox 360、PS2、PS3等,其多平台的适用性也帮助它奠定了游戏引擎中老大哥的地位。
Epic Game公司再接再厉,于2014年推出了自己的第四代引擎——虚幻引擎4,可以说这一代引擎完全就是为VR而生。虚幻引擎4推出初期发布的几个基于Oculus DK2的示例带给体验者的冲击力是难以用语言形容的(图1.31)。
从2015年开始虚幻引擎4宣布对广大开发者免费,这一策略使引擎的普及度有了非常大的提升,而且虚幻引擎对VR开发的支持非常友好,运用了名为“蓝图”的可视化编程界面,加之渲染、光影、粒子效果出色,在近一两年迅速成为虚拟现实公司的主要开发工具。因为本书就是虚幻引擎4的实战教程,在学习中大家会了解更多关于虚幻引擎4的特点,所以在这里就不多讲述了。
图1.31 Showdown游戏中的场景
当然,市场上三维引擎也不是虚幻引擎一家独大。其他主流的三维引擎有Unity 3D(几乎所有手机游戏)、Cry Engine(《孤岛危机》)、Frostbite Engine(《审判》)、Creation Engine(《上古卷轴》《辐射4》)、Naughty Dog Game Engine(《神秘海域4》)等。这些引擎各有所长,各自在不同的领域拥有较多使用者和应用案例。各家公司都在探索通过软件提升虚拟现实内容的运算效率、画面质量、实现各种特效的方法。
游戏引擎是生产优秀虚拟现实软件的工具,只有熟练掌握工具才能实现设计者的想法。况且目前很多引擎已经提供了足够多的虚拟现实相关的开发插件,提升了开发效率,开发者们只需要专注于自己的内容创作就可以。也希望读者在学习过程中不要朝三暮四,如果看到哪个引擎在某一方面强就转而学习那个引擎,那么最后只会导致哪个引擎都学不精。在一个优秀作品诞生的过程中,工具固然是重要因素之一,但是更具决定性的因素是创作者的专注态度和坚定信念。
虚拟现实的市场化虽然还处在早期,但是已经有很多领域开始重视虚拟现实技术,并对虚拟现实结合本领域的发展有很高的期待。以下列出的都是开始运用虚拟现实技术并有一定成果的领域。
众所周知,很多尖端技术都会先应用于军事领域,而技术从军用转化为民用则会经历数年甚至数十年时间。所以在20世纪90年代中期,计算机技术较为发达的国家就开始用虚拟现实进行军事训练。通过虚拟现实模拟地形地貌、气候、武器装备、作战人员。从指挥员到参与作战的人员都可以通过虚拟现实场景进行训练。虚拟现实提供的沉浸性和逼真度则可以让参与训练的人员在低消耗、低危险的情况下,熟悉作战地形、武器装备、战术、医疗救助等内容,提高指挥人员的决策力和作战人员的生存率。现阶段虚拟现实设备的成本更低,在军事模拟中的普及度更高,各国主要将虚拟现实技术应用于战地救护、单兵战术、坦克驾驶等方面。
各位读者是否梦想过在一个阳光明媚的午后,伴着悠扬的小提琴曲,漫步在被破坏之前的圆明园中,听蒋友仁讲述他的设计理念?或者是回到古埃及,在宏伟的宫殿中一睹埃及艳后的芳容?随着虚拟现实技术的发展,这一切都将成为可能。人类过去的数千年历史给现今留下了丰富的自然、物质和非物质文化遗产。而通过虚拟现实技术,人们有机会将已经逝去的或者出于保护目的而不能面世的文化遗产进行重现,使得大众都能够一睹文化遗产曾经的辉煌,甚至可以体验时空穿越,回到古代,亲身经历一幕幕只能在历史教科书中看到的故事。随着三维扫描技术的日益进步,保留下来的文物模型可以达到极其精准的程度,再通过虚拟现实方式展现在大众眼前,才是真正让文物活起来。如果把景区通过技术手段搬进虚拟现实场景,那么用户就可以足不出户领略祖国的名山大川和世界的著名景点。如图1.32和图1.33所示为虚实空间文化类作品漫步雄关和VR兵马俑。
图1.32 虚实空间文化类作品——漫步雄关
图1.33 虚实空间文化类作品——VR兵马俑
在工业领域,机械的操作、拆装、维修等方面的训练以及通过互联网进行远程维修,都是很强的需求。而虚拟现实技术则可以用很低的成本满足这些需求。参与培训的人员不需要操作或是昂贵或是有一定危险的真实机械设备,仅需要佩戴特定的数据手套或者其他的力反馈设备,在虚拟场景中就能完成各种操作的学习、训练和考核,而且这些数据还会保留下来供企业进行分析和总结。虚拟现实技术与工业领域的结合可以极大地降低企业成本,提高培训和远程协助的效率。图1.34所示为汽车的VR展示。
图1.34 汽车VR展示
在本章的开头就描绘了未来的虚拟现实课堂。虚拟现实的沉浸感、拟真程度和丰富的信息量以及可交互性决定了它在教育领域的广阔前景。尤其对于中小学生,他们对科技和新鲜事物的好奇心与接受程度使得他们一旦体验过VR就难以割舍。虚拟现实应用于教育正是利用了这种新技术对于他们的超强吸引力,能够真正地实现寓教于乐。身临其境的场景化教学也会让中小学生对于知识的吸收率提高,起到事半功倍的效果。现在有很多学校开始建设虚拟现实教室、虚拟现实实验室。在未来的硬件基础条件成熟后,教育类的软件就会进入百花齐放的阶段。届时,这种新型的教育方式将对传统教育方式带来很大的冲击。图1.35所示为科普教育项目“VR火山探险”。
图1.35 科普教育项目——VR火山探险
当第三次虚拟现实浪潮到来之初,最早的一批应用就是游戏。由于虚拟现实和三维游戏有着相同的基因,甚至使用相同的游戏引擎,因此游戏从业者沿用自己的游戏开发经验和已经拥有的三维游戏素材快速且低成本地生产出大批的VR游戏。虽然这些游戏中的多数品质不高,但是也不乏精品。虚拟现实的诸多特点将对游戏的体验带入一个全新的世界,游戏者通过VR技术实现了真正进入游戏世界,成为游戏主人公的带入感更加强烈。相信多数玩家都梦想过通过VR真正在“艾泽拉斯大陆”(大型多人在线游戏《魔兽世界》中的大陆)上和朋友组队做任务吧。目前,90%的VR内容和几乎全部的VR线下体验店(包括单体设备和大空间设备)的内容都是游戏。随着《上古卷轴VR版》《辐射4VR版》(图1.36)等传统游戏大作的VR化,相信未来VR游戏的丰富程度和品质会越来越高。
图1.36 发售不到一个月销量达到400万美元的《辐射4VR版》(Fallout 4 VR)(图片来自Steam平台Fallout 4 VR游戏页面)
虚拟现实和医疗领域的结合有些类似工业领域,只不过工业领域面对的是机器,而医疗领域面对的是患者和人体。目前,除了利用虚拟现实来进行医疗器械的操作以外,将虚拟现实和手术操作结合才是医疗领域内更加迫切的需求。通过虚拟现实反复进行训练,会令医务工作者在面对真正的患者时有更大的把握。如果将CT扫描数据进行反向三维重建,再导入到虚拟现实中,医务工作者就能够在手术前直观地看到病患部位的情况,从而可以提前制定出最有针对性的方案,提高手术的成功率。图1.37所示为医生在用Oculus Rift VR眼镜观看病人的脑部CT三维图像。
在对于心理创伤的辅导过程中有一种方法叫作行为介入,即重现创伤者受创的场景,并在恰当的时机进行人工的辅导和暗示,让受创者摆脱心理上的阴影。目前很多国家开始尝试用虚拟现实技术对各种恐惧症、社交障碍、老年孤独群体进行心理上的辅导。由于虚拟现实技术的诸多特点和灵活性,大大降低了成本,效率和效果也有所提升。
图1.37 医生在用Oculus Rift VR眼镜观看病人的脑部CT三维图像(图片来自uploadvr官网)
2016年阿里巴巴提出了“Buy+”这个虚拟购物概念,一时间虚拟现实与零售行业的结合成为热门话题。抛开目前所存在的互联网带宽、数十万种商品的三维模型生产、产品信息数据库的建立等技术问题,单从虚拟现实的特点出发,未来一定会对人们的购物模式产生极大的影响。现在的网络购物将我们跟实际商品拉开了距离,但是VR能将产品带回到我们眼前,即通过互联网和虚拟现实能有逛实体店的购物体验。各种产品的尺寸、材质、信息等都会展现在我们眼前,这对交易的促成将起到很大作用。而且用户在虚拟场景中的购物行为,如在虚拟货架中行走的路径、视线在货架上商品停留的时间等,都会作为大数据储存起来并加以分析,当用户积累了足够多的行为数据后,虚拟购物系统就会根据用户的偏好调整虚拟货架内容,以达到最大的成单可能性,而且对于精准广告推送也提供了数据基础。试想一下在不久的将来,我们只要在家中利用一套虚拟现实设备就能够任意选择购物场所,挑选自己喜爱的商品,下单后就是等待无人机快递上门了。如图1.38所示为VR购物体验。
图1.38 VR购物体验(图片来自diorama官网)
在设计领域,计算机辅助设计(CAD)软件已经非常成熟。而虚拟现实技术则能够让设计师在设计作品前进行更具沉浸性的体验,当一件设计作品,不论是建筑设计、室内装潢设计、景观设计,还是工业产品设计,以其真实尺度呈现在设计师面前的时候,会让设计师以最直观的感受进行判断与调整,让作品更加完美。虚拟现实技术在设计行业的应用是对传统计算机辅助设计的一次升级,让设计师能够提前避免设计上的失误和遗憾,为我们创作出更多更美好的作品。如图1.39所示为VR应用于设计的概念图。
图1.39 VR应用于设计的概念图(图片来自vrsconference官网)
Facebook高价收购Oculus,这足以证明扎克伯格对于虚拟现实和社交相结合的美好前景的坚定信心。VR社交解决了用户在传统社交中所面临的视觉享受、互动娱乐性以及用户参与度三大痛点。首先,在提升视觉享受方面,传统的社交媒体呈现的图、文和视频全都能够包含在虚拟现实社交场景内,再加上VR震撼的沉浸感和仿真度,一定会让用户流连忘返。其次,在互动娱乐性方面,虚拟现实做到了极致,比如将直播的互动做到极致,当你在虚拟世界中进行直播时,你的观众并不是在屏幕之外观看,而是和你在同一个环境中进行交互;最后,就是丰富并深入的用户参与程度,在VR社交中,用户能够做到在现实世界中做不到的,而且未来的VR社交的场景会更加丰富,能够给用户提供的体验也更丰富。所以说,VR社交将会是下一代社交方式。如图1.40所示为Facebook VR社交的画面。
从上面所描绘的虚拟现实与各行业的结合情况看,由于虚拟现实的沉浸性、高逼真程度、具有互动性等特点,对于很多领域而言,VR在提高效率、节省成本等方面有重要的作用。所以虚拟现实最终的发展会像互联网一样,成为一些领域所必备和应用的技术,况且虚拟现实最广泛的应用也是基于互联网的。互联网发展到今天早已超出单独一个产业的规模而成为信息的基础设施,并且与很多行业紧密结合在一起。虚拟现实作为下一代的显示和体验技术,也将会打破产业的限制,与传统领域进行深度融合,促进产业升级。
图1.40 Facebook VR社交的画面(图片来自kejilie官网)
对于虚拟现实发展的前景,不论是国内还是国外的权威统计机构都抱有非常乐观的态度。从图1.41和图1.42就可以看出,国内外均预测到虚拟现实市场的快速发展。尤其要注意的是图1.41,蓝色柱状代表硬件的发展,红色柱状代表虚拟现实内容和软件的市场潜力,可以明显看出其发展速度是成几何级数增长的,很快就会迎来爆发。图1.42指出,到2020年国内虚拟现实市场的规模将超过500亿元人民币。反映国际市场预测的图1.41则显示2018年到2020年将成为行业爆发的关键时间,整个行业规模预计达到700亿美元。行业内甚至有观点认为VR会成为继PC、手机之后第三代影响人类生活的消费电子产品。
图1.41 全球VR市场发展趋势(图片来自trendforce官网)
图1.42 国内趋势预测
以近10年来智能电子产品和互联网的发展作参照,大家对计算机技术的高速发展有着极大的信心,也对虚拟现实在技术层面上的发展前景保持乐观的态度,但更重要的一个原因则是沉浸式虚拟现实体验是人类底层的心理和精神层面上的追求。
洞穴绘画的目的是令人们从精神上进入某个境界。中世纪的教堂内,艺术家努力营造出的沉浸式画面,不是为了简单地装饰,这些绘画与建筑、光线结合在一起,传达了一种美,更描绘了一种美好的境界。
很多壁画都是为了创造幻觉空间而进行的艺术创作,显然不能与目前计算机生成的具有交互性的幻觉空间相提并论。但是这也清楚地表明了在历史的各个时期,人类利用各种技术手段为创造最大限度的幻觉空间所做的非凡努力。
博客节目“虚拟现实之声”(Voices of VR)的创始人Kent Bye提到,“和所有其他媒介都不一样,虚拟现实可以直接和我们的潜意识对话。”
在这种接近本能的渴求驱动下,自然会有一部分人投入到这个行业内,义无反顾地推动这个行业的发展。像谷歌、Facebook、微软这样的科技巨头都在本次VR浪潮中开始自己的布局,足以证明了它们对虚拟现实的重视。Facebook的创始人马克·扎克伯格认为,媒体的重心从文字开始,逐渐过渡到图片,然后到影视,最终拓展到虚拟现实。每前进一步,内容的维度就更加丰富。后一种媒体可以完全包容前一种媒体。你可以在虚拟现实中看电影,可以在电影中看图片,可以在图片中看文字。从某种意义上说,虚拟现实包容了所有其他媒体形式:文字、图片、音乐、舞蹈、戏剧、雕刻、影视……难怪有人将虚拟现实称为“最后的媒体”。
我们周围的视觉元素的展示形式以迅猛的速度发展和变化,我们也从未像今天这样暴露在如此多不同形式的图像世界中。虚拟现实这种作为生成、传播和展示图像的新媒体技术的出现,已经改变了“图像”本身,正在体现我们能够“进入”图像世界的可能性。
而虚拟现实的表达力确实更丰富也更接近真实,但是它真正的价值不仅仅只是用来包容其他媒体,而是让你的内在和他人的内在,在一个几乎真实的空间中,以一种近乎真切的体验,跨越时空,彼此相遇。
潜移默化中,互联网和近几年高速发展的移动互联网已经使我们的生活发生了非常大的变化,相信随着不断的发展,虚拟现实会与我们的生活和工作结合得更加紧密,届时我们的生活、文化与社会也将随之发生变化。
尽管我们对虚拟现实发展的前景如此乐观,但是要实现科幻小说中那种美妙的虚拟世界,从业者们依然要付出更加艰辛的努力。工业制造水平、集成电路、显示硬件、图形处理芯片、大数据、云存储、云计算、人工智能,甚至电池等相关技术的发展程度都影响着虚拟现实行业的发展。从虚拟现实的发展现状来看,主要的瓶颈在于头戴式设备的大小和重量,再加上相对较高的费用,使得在消费者端的普及度还很低,市场回报率还很低。虚拟现实产品的市场转化还是靠政府或者公司的定制化生产。所以现阶段,虚拟现实的从业公司,不论是专注硬件、底层技术还是内容的公司,都应该坚持下去,积蓄力量,这样才能在虚拟现实全面爆发的时候具有较强的竞争力。
所以,既不要高估虚拟现实短期的成就,也不要低估虚拟现实长期的成就。
从前面各大权威机构对于未来虚拟现实市场的规模预测来看,前景非常乐观。那么在产业高速发展的阶段,就需要大量的专业人才。据统计,目前国内虚拟现实的人才缺口就高达百万,这里面包括虚拟现实的硬件工程师、算法工程师、虚拟现实内容的美术师、引擎工程师等,主要的人才缺口领域是互联网行业和娱乐游戏行业。目前虚拟现实行业还是一个相对独立的行业,主要为其他各行业提供解决方案和服务。随着各行业与虚拟现实的深度结合,每个行业都会出现对虚拟现实人才的需求,就像目前计算机专业的人才可以进入各个行业一样。因此现阶段是进入虚拟现实技术学习的好时机,掌握虚拟现实技能后,未来的就业前景是非常广阔的。
谷歌、Facebook、微软等业界大佬和Capcom、Bethesda Softworks等游戏行业巨头纷纷加入到虚拟现实领域后,给行业的发展注入了一针强心剂。在接下来的几年中,消费者将成为最幸运的一群人,他们可以拥有更多的虚拟现实硬件和内容的选择权。
在本书出版的时候,市面上应该已经会有不少运用微软公司核心技术的虚拟现实眼镜了。微软公司继HoloLens之后发布了与全球五大硬件厂商(惠普、宏基、华硕、联想和戴尔)合作的虚拟现实眼镜,价格是人民币3 000元左右,Windows 10系统的笔记本电脑就能运行,房间内也不需要设置额外的定位设备,仅靠VR设备自己的主动式空间识别技术就能进行空间定位。这些特点对消费者都会是极大的诱惑。
笔者在体验了最先上市的惠普公司的微软虚拟现实眼镜后,已经被深深吸引了,其操作界面基本延续HoloLens,其实也就是VR版本的Windows 10,操作系统被完全VR化,用户身处一个海岸边的别墅内,别墅有花园,有书房,有影音室(图1.43)。所有Windows的软件都可以被放置在这个三维空间内,比如在影音室内,墙面上大屏幕就是Windows的媒体播放器,书房内就是浏览器和电子书软件。由于真正VR的应用还不是很多,我干脆在三维场景内打开了一个纸牌游戏的窗口,用VR手柄玩了将近30分钟的纸牌。相信随着Windows系统下VR应用的不断丰富,较低的硬件成本会给虚拟现实设备的普及率带来较大的提升。
在核心硬件(虚拟现实头盔)发展成熟后,随着计算机技术的发展,针对用户其他感官的输入和反馈设备将会进入市场。让我们还是先来看看小说《头号玩家》中的描述。
图1.43 Microsoft Windows MR界面(图片来自微软官网)
两只机械手臂扣着公寓的墙和天花板,将椅子吊起。这张椅子可以向任意方向旋转,所以当我在绿洲里坠落、飞翔,或是驾着核动力雪橇前进的时候,它也能通过震动、旋转或是摇晃,让被固定在上头的我也获得真实的体验。
这张椅子附带了一体式的体感衣,它包裹着脖子以下整个身体,通过附带的放松按钮,不用脱下整件衣服我就能退出游戏休息。衣服外侧是一层精细的感受器,上面人工的筋腱和关节可以感受并传输我的动作。内侧的感受器则是用来调节衣服的,不让它与皮肤贴合得过紧,并向其传输电信号。这些功能让我随时感受到绿洲里发生的事情,辅助我在绿洲里更好地行动……
我的体感手套产于日本,特殊的触觉传感器完整地覆盖了手掌,让人能够感觉并操作那些并不存在的东西。
还有我的面罩,这个全新的透视面罩拥有最先进的虚拟视网膜显示屏。它能够将绿洲镜像直接投射到我的视网膜。与这样的绿洲相比,现实世界反而显得粗糙而虚假……
我的音频系统由公寓墙壁、地板和天花板上的一系列超薄扬声器组成,可以提供360°的环绕立体声。再加上异常强劲的“雷神之锤”低音炮,足以让每个听者在炮火的轰鸣声中吓得牙齿发颤。
为了让效果更加逼真,房间的一角安放了“奥尔法翠斯”气味制造机。它可以模拟出2 000多种不同的味道,玫瑰园的花香、海风的咸味、燃烧的硝石味等都能被完美地再现……
在我的触觉椅下面,是全方位跑步机。跑步机占地大约2m2,厚度为6cm。激活跑步机后我可以朝任意方向全速奔跑,而无需担心会跌落平台。如果我改了方向,跑步机也会感受到这种变化,并且变向,使我永远保持在平台的最中央。跑步机还有内置的表面变化系统,以模拟走斜坡和台阶的情况。
从上面的小说情节大家可以看到,虚拟现实用户的视觉、听觉、触觉、嗅觉均能得到虚拟场景的反馈,而他的任何身体动作也会作为最核心的人机交流数据输入到计算系统,所以在虚拟世界中,你的体验越来越好是因为你的化身存在于虚拟现实中,并且映射着你在真实世界中行为的追踪结果。到2050年,我们很可能将会用整个身体和所有的感官与我们的计算机进行交流。
在更远的将来,当我们的神经科学发展到一定程度,人类大脑的感觉、记忆和认知可以通过计算机编码后,虚拟现实的世界将更加不可思议。“脑机接口”“赛博格”这类的概念不在本书中赘述,有兴趣的读者可以首先通过影视动画作品《银翼杀手》《黑客帝国》《攻壳机动队》或科幻小说《神经漫游者》等作品进行了解。但是可以确定的是,如果人类真的进入完全的脑机接口(Brain-machine Interface)时代,人类进行活动的虚拟世界依然是由基础的三维软件生成,再进行编码,从而进一步刺激人类的神经,这样就不用通过现在这样的虚拟现实头盔、数据手套等设备作为信息的输入和输出终端,而是人脑直接和虚拟世界相连接,到那时很可能世界上的大多数人就真的生活在虚拟世界中了。还有更大胆的预测是,未来人们能够通过这种脑机接口形式在虚拟世界中实现永生。
虽然我们畅想的虚拟现实的未来世界如此美好,但是同样会遇到诸多的问题。
首当其冲的就是个人信息的安全问题。其实在现在这个移动互联时代就已经遇到这个问题了,手机号码透露了我们的真实身份、年龄和性别,我们在网上浏览的痕迹透露了我们的个人喜好。而在虚拟现实中,由于丰富的输入方式,后台系统会收集我们更多的信息,比如习惯动作和爱好等,从而根据爱好进行个性化定制。推销信息引导你的注意力,整理你所感兴趣的历史,影响你的潜意识,量化你的行为……不难想象,在未来,一家在虚拟现实领域占据主导地位的公司会快速积累起海量的私密数据。在现实生活中收集这些数据既昂贵又具有侵犯性,但在虚拟现实中,这么做却是隐秘和廉价的。如果这些数据被居心不良的人利用,那么后果将不堪设想。
其次是太过真实的虚拟现实会导致体验者混淆真实世界和虚拟世界,从而产生沉迷虚拟世界或其他心理上的问题。目前很多人在游戏中花费很多时间,是因为游戏世界和现实世界的规则不一样,玩家可以在游戏世界内获得现实世界中很难达到的成就感。未来的虚拟现实世界,如果只是对现实世界的克隆,那意义就不大了。它一定是像现在的游戏一样,构建出无数丰富多彩的虚拟世界,每个虚拟世界都有着不同的规则。但是由于VR的世界会过于真实,必定会有人将虚拟和真实的世界混淆,将虚拟世界的规则(例如游戏中的PK机制,也就是玩家可以决斗并把对方杀死获取金钱和装备)套用到真实世界,就会引发诸多的法律和社会问题。
还记得前面说过苏瑟兰1968年发明的虚拟现实设备叫作“达摩克利斯之剑”吧。由于当时的设备又大又沉,悬挂在体验者的头上,所以他才自嘲地给那套设备起了这么个名字。但是谁又能否认这个名字并非预示虚拟现实是一种力量强大却充满危机的技术呢。
所以随着时间的推进,虚拟现实的发展越来越快,确实是需要全社会各个学科的专家加入进来,合理运用这种技术,让它对人类社会产生积极的推动作用。
作为全书的开篇,本章简要地介绍了虚拟现实的发展历史、现状和对未来的展望。不太了解虚拟现实的读者,可以通过本章对虚拟现实有一个相对全面的了解,这也有助于后面章节的学习。由于目前虚拟现实领域发展速度很快,未来会出现很多书中未提及的产品、技术和项目,希望读者们能够持续通过互联网等手段对虚拟现实行业持续关注,保持知识的持续更新。
接下来的章节,大家将循序渐进地熟悉和学习虚幻4,并在本书学习结束后,掌握独立制作VR体验场景的能力。未来已来,只是尚未流行,那么请大家准备好,迈出成为未来庞大的虚拟世界创造者的第一步吧!
本章首先介绍如何安装虚幻引擎4(Unreal Engine 4,UE4),然后讲解如何创建项目以及UE4的操作界面。如果已经熟悉这些内容,可跳过本章。
首先,打开Epic Games的官方网站,创建Epic Games账户并下载Epic Games Launcher。安装后桌面上出现其快捷方式,如图2.1所示。
图2.1 Epic Games Launcher的快捷方式
双击该图标,打开Epic Games Launcher启动程序,首先会显示登录界面,可以登录或者选择跳过,之后进入欢迎界面,如图2.2所示。默认位于“Unreal Engine”选项卡,随着虚幻引擎版本的更新,该界面可能会有所不同。
图2.2 虚幻引擎4的欢迎界面
单击安装引擎按钮下载并安装虚幻引擎的最新版本。根据计算机系统性能的不同,下载并安装将需要10~40分钟的时间。在Epic Games启动程序成功下载并安装虚幻引擎后,就可以单击启动按钮了。
左侧菜单包括社区(Community)学习(Learn)虚幻商城(Marketplace)和工作(Library)4个选项卡。值得一提的是,学习(Learn)选项卡提供了一个学习资源主页,这些学习资源包括文档、视频教程及培训项目,文档和视频可以通过这里跳转到主页。其中,内容示例(Content Examples)和Matinee项目帮助用户学习引擎功能及如何使用它们。此外,还提供了游戏示例,以展示不同系统如何协同工作来实现一款完整的游戏,这些对于初学者来说非常有帮助。工作(Library)选项卡包括已经安装的引擎版本、创建的工程和保管库。注意,可以同时安装多个版本,如图2.3所示,选择启动某一个版本。
图2.3 虚幻引擎4的引擎版本选择界面
虚幻引擎4启动后,显示虚幻项目浏览器(Unreal Project Browser)窗口。首次运行时,界面如图2.4所示。
项目浏览器中的第一个选项卡是项目(Projects)选项卡,如图2.5所示,该选项卡显示了编辑器发现的所有项目的缩略图列表。在默认情况下,该列表包含了安装文件夹中的所有项目、使用编辑器创建的任何项目或者之前打开的任何项目。双击任何缩略图都可以打开那个项目。要想搜索项目,请在过滤项目(Filter Projects)...搜索框中输入文本,也可以单击右下角的浏览(Browser)...按钮来浏览电脑,选择一个.uproject文件并手动打开它。
图2.4 虚幻项目浏览器(Unreal Project Browser)窗口
图2.5 项目选项卡
项目浏览器中的第二个选项卡是 新建项目(New Project) 选项卡,我们尚未创建项目,所以需要使用该选项卡。首先,选择模板。虚幻引擎提供C++和蓝图可视化脚本(Blueprint)两种方法创建游戏性元素。程序员可通过C++添加基础游戏性系统,在他们最擅长的IDE(通常为Microsoft Visual Studio或Apple Xcode)中工作。而设计师则在虚幻编辑器的蓝图编辑器中工作,创建一个新的蓝图类后,可以使用可视化脚本系统来添加组件、创建函数及其他游戏或设计行为,并设置类变量的默认值,不需要写任何C++代码,但是C++代码是可以加入到项目中的。由这两种模板生成的游戏的游玩方式一样,关卡设计、角色行为及相机布局也一样。这里选择空白的蓝图。
项目设置用于根据目标硬件类型的不同来设置不同的项目性能选项。硬件类型是选择游戏的目标平台,这里设置为桌面或游戏机(Desktop/Console),另一个选项是移动设备/平板电脑(Mobile/Tablet);桌面或游戏机选项具有最高质量的画质级别(Maximum Quality),这样可以使用虚幻引擎的所有高级渲染功能。如果游戏的目标平台是移动设备,那么使用可缩放的3D或2D(Scalable 3D or 2D)。因为我们有样板间模型和已经制作好的材质,所以这里选没有初学者内容(No Starter Content)。对于初学者,如果没有预先准备好的模型材质等,建议选择具有初学者内容(With Starter Content),项目中会包含一些材质和简单物体。
接下来,为新建的项目选择存储位置并设置项目名称。因为我们要创建一个样板间的项目,所以这里将项目命名为“apartment”。完成设置后,单击创建项目按钮。
项目创建后,显示虚幻编辑器中的关卡编辑器界面,如图2.6所示。关卡编辑器是虚幻编辑器的中心,是构建世界的工具。
图2.6 虚幻项目浏览器窗口
下面介绍编辑器中的关键接口元素。编辑器中的工具由多个面板组成,可以对其执行移动、固定、关闭等操作来自定义布局,也可通过窗口菜单访问隐藏的面板。
屏幕的中心区域是主3D视口。导航视口最常见的操作是单击并按住鼠标右键进行漫游,还可以在按住鼠标左键或者右键的同时,使用键盘W、A、S和D键进行漫游。使用视口上方右侧的按钮选择各种工具,来操纵关卡中的Actor,可以移动、旋转和缩放Actor。使用视口上方左侧的按钮更改视口的呈现方式,可以使视口显示或隐藏Actor的类型,更改要显示的渲染缓冲区,启用线框、禁用光照等。
单击并按住鼠标右键在主3D视口中漫游,可以看到空白项目中默认包括一个地面、玩家出生点(位于地面中心,表示为一面旗帜)、天空、太阳、光照(如图2.7所示,用红框标识)、大气效果(如图2.7所示,用黄框标识)。玩家出生点是指当游戏运行时,玩家出现的位置。
图2.7 主3D视口
屏幕的左侧区域是模式(Modes)面板,包含了可供选择的编辑器的各种工具模式。这些模式可更改关卡编辑器的主要行为以便执行特定任务,例如将新项目放置到世界中、创建几何体和体积、给网格物体着色、生成植被、塑造地貌。
屏幕的下方是内容浏览器(Content Browser),这是虚幻编辑器的主要区域,用于在虚幻编辑器中创建、导入、组织、查看和修改内容资源。它同时提供了管理内容文件夹,以及在资源上执行其他有用操作的功能,比如重命名、移动、复制及查看引用。内容浏览器可以搜索游戏项目中的所有资源并与其交互。
屏幕的右下方是细节(Details)面板,包含特定于当前选择的信息、工具和函数,用于移动、旋转和缩放Actor的变换编辑框,显示所选Actor的所有可编辑属性,并根据视口中所选Actor的类型提供对附加编辑功能的快速访问。
屏幕的右上方是世界大纲视图(World Outliner)面板,以分层树视图的形式显示场景中的所有Actor,用户可以直接通过场景大纲视图选择和修改Actor。与内容浏览器中的内容不同,世界大纲视图面板中包含游戏中所有的元素。从世界大纲视图面板中删除元素是安全的,从内容浏览器中删除元素则是危险的,也就是说该元素将彻底从项目中删除,无法恢复。还可以使用列选择器下拉菜单显示关卡、层或ID名称等其他列。虚幻引擎中的层与3ds Max中层的概念相同,可以将多个元素归类,便于组织管理。
主3D视口上方是工具栏,提供了对常用工具和操作的快速访问。单击播放按钮,可以对当前游戏进行测试,按Esc键退出播放模式。其中,值得一提的是设置(Settings)→引擎可扩展性设置(Engine Scalability Settings)。当电脑配置比较高时,引擎默认的质量设置如图2.8所示,参数都为极高。如果电脑配置较低,某些参数默认设置可能是中或低,就可能会遇到一些问题,例如渲染效果差,设置了灯光但是物体没有影子等。这时将这些质量参数都设置为极高,就可以解决这些问题。
图2.8 虚幻编辑器的教程对话框
编辑器上方是总工具栏,与许多计算机应用程序的工具栏类似,可以访问用于在编辑器中处理关卡的常用工具和命令。
编辑器右上角是显示可用教程…(Show Available Tutorials…)按钮,单击弹出教程(Tutorials)对话框,如图2.9所示。对于初学者,这是个非常有用的工具。
图2.9 虚幻编辑器教程(Tutorials)对话框
UE4的界面语言默认与操作系统的语言保持一致,中文版系统默认会调用中文版的UI。如果要切换成英文版,可以在主菜单栏中单击编辑(Edit),在弹出的下拉菜单中选择编辑器偏好设置(Editor Preferences),如图2.10所示。
在弹出的编辑器偏好设置对话框(如图2.11所示)中找到区域&语言(Region & Language),单击这个选项,在编辑器语言(Editor Language)中选择“英文”即可。为了保证下次启动的时候还是保持英文,建议单击右上方的设置为默认值(Set as Default)按钮。
图2.10 编辑(Edit)的下拉菜单
图2.11 编辑器偏好设置(Editor Preferences)对话框
这里按照官方命名方式总结了一个UE4文件夹的命名模板,如图2.12所示。首先,一个项目包括资源(Assets)和关卡(Maps)两个文件夹,资源(Assets)文件夹中包括声音(Audio)、蓝图(Blueprint,BP)、特效(Effects)、材质(Materials)、对象(Meshes)、纹理贴图(Textures)等文件夹。在添加内容时,按照内容属性进行归类,可以方便后期查找和处理。例如,每将3ds Max里的一个层导入UE4中,就要在Meshes里新建一个文件夹。注意,所有文件夹必须使用英文命名。通常,一个场景中包含很多不同材质的对象,当材质很多时,可以将材质按照布料(Cloth)、玻璃(Glass)、地面(Ground)、墙面(Wall)、金属(Metal)、木质(Wood)等作进一步细分。
图2.12 UE4文件夹的命名模板
在内容浏览器(Content Browser)中的空白处单击右键,在弹出菜单中选择新建文件夹(New Folder),将其命名为Assets。按照同样的操作新建其他文件夹。值得一提的是,内容浏览器中的大部分操作是通过右键菜单来完成的,虽然看起来包含的选项并不多,但实际上内容非常丰富。
本章首先介绍了如何安装虚幻引擎4(UE4)和新建项目;然后介绍了虚幻编辑器的中心——关卡编辑器的操作界面,包括主3D视口、模式(Modes)面板、内容浏览器(Content Browser)、细节(Details)面板、世界大纲视图(World Outliner)面板、工具栏等模块;最后,基于官方命名方式总结了一个UE4文件夹命名模板,在项目文件较多时便于管理。