基于云渲染的VRAR智慧教室可以如何应⽤?有哪些功能? 作者:汤显峰、沈丽燕、董榕、杨⽟辉、张宇燕,浙江⼤学信息技术中⼼
(图⽚来⾃⽹络)
2018年秋季学期,浙江⼤学⽂化遗产研究院与哈佛⼤学“吉萨⾦字塔:技术、考古与历史”VR课程对接,两校学⽣通过远程⽹络和VR头盔,同时沉浸到考古现场,聆听考古学教授Peter授课,并通过⼤屏幕共同探讨课程内容。通过与哈佛⼤学的合作,浙江⼤学了解到⽀撑此类课程的教室有⼀些特殊需求,如需配备VR设备、制作VR教学资源、构建⾼速⽹络环境等,这为浙江⼤学创⽴⾃⼰的VR课程积累了经验。 ⽬前,哈佛⼤学的环幕⽴体教室以巨⼤的3D环幕为主环境,加载基于3D素材的⽹络共享平台,并配备VR头盔,通过远距离传播,在进⾏跨地域教学的同时异地开展虚拟现实课程。
在哈佛⼤学环幕⽴体教室的基础上,浙江⼤学增加了VR/AR内容⾃主制作模块、VR/AR⼩组教学模块、云渲染编辑模块,将⼩众的⾼端应⽤学习空间升级为⼤众化、通⽤型智慧教室,使VR/AR技术成为了课堂教学常⽤的技术,在此基础上设计了基于云渲染的VR/AR智慧教室。
何为云渲染?
要回答“何为云渲染?”这个问题,需要先了解“云计算”和“渲染”这两个概念:
云计算:是指通过⽹络“云”将巨⼤的数据计算处理程序分解成⽆数个⼩程序,然后通过多台服务器组成的系统对这些⼩程序进⾏处理和分析,得到结果并将其返回给⽤户。
地磁指数预报nand闪存
云渲染:渲染是指利⽤软件将三维模型⽣成图像的过程。云渲染是指云计算在渲染领域的应⽤,即⽤户将本地执⾏渲染任务的应⽤程序提交到云端服务器运⾏,利⽤计算机集进⾏运算和操作,完成渲染后将结果画⾯回传⾄⽤户终端。
基于云渲染的VR/AR智慧教室可以⽤来做什么?海鲜机
基于云渲染的VR/AR智慧教室可以轻松构建虚拟仿真实验室、VR/AR视频课件制作中⼼、⼤学⽣双创基地、科研基地、慕课⽹/校园⽹等各类应⽤场景,各应⽤终端均只需配置低性能显⽰终端,便可满⾜师⽣在任意地点开展VR科研、教学、实验、实训等活动的需求。 同时,各类VR/AR内容制作及其应⽤可进⾏共享,既避免了巨量⾼端渲染服务器的重复采购,⼜可使各类VR资源得到最⼤化应⽤,为后续⼤数据采集、AI科学研究奠定了基础。
最⼤化应⽤,为后续⼤数据采集、AI科学研究奠定了基础。
基于云渲染的VR/AR智慧教室功能设计
基于云渲染的VR/AR智慧教室分为VR/AR教学区、环幕投影区、VR/AR课件编辑区、课件展⽰区、云渲染平台五个主要部分,其效果图如图所⽰。其中,VR/AR课件编辑区、设备间、课件展⽰区采⽤开放式夹层设计(浙江⼤学教学空间的楼层⾼度为7⽶),课件展⽰区位于⼀层,⽽VR/AR课件编辑区
与设备间位于⼆层。
基于云渲染的VR/AR智慧教室效果图
1
VR/AR教学区
VR/AR教学区主要⽤于VR教学、AR教学和教师现场授课精品课件的制作,包含AR教学系统、VR教学系统、3DLED⼤屏、录播系统、智慧课堂中控PAD等五⼤模块,并配备可移动式桌椅、扩⾳系统等。 ①AR教学系统:是基于增强现实技术构建的教学系统。
基于AR教学系统,教师使⽤教学⼀体机进⾏常规授课。教学⼀体机可⽤于播放、显⽰教师的教学素材如PPT、Flash动画、课件视频等,也可调⽤其内置课程资源⽤于授课,还可⽤于书写、批注等常规教学活动。
依据课程内容,AR教学系统实时植⼊各类相关AR三维模型、三维动画、特效、可视化图表等,结合⽴体摄像机拍摄的内容,最终合成3D虚实结合效果图并输出到3DLED⼤屏,以供学⽣观看、学习。
同时,配备⽴体学⽣全景机位,当出现师⽣互动教学环节时便可实现学⽣机位、教师机位的分别录制与⾃动切换;及时响应各种教学模式课件的录制需求,并通过⽹络实现与其他学校的实时信号传输互动。
②VR教学系统:是基于虚拟现实技术构建的教学系统。
教师可在VR教学系统中调⽤、修改、编排相关课程素材模板,快捷、⾼效编辑制作VR课件,并播放各类交互式专业VR课件,使课程重点、难点、抽象知识点部分实现沉浸交互式VR增强教学。
教师佩戴VR头盔、握住⼿柄,在3DLED⼤屏前进⾏交互式VR教学讲解操作;教师视⾓与VR内容在3DLED⼤屏上实时展⽰以供学⽣观看、学习,也可直接通过流媒体服务器将其推送⾄学⽣的VR头盔以供学⽣进⾏沉浸式学习;
此外,教师全景机位和学⽣全景机位可将教师授课、学⽣互动过程拍摄下来并实时录制。
毛刷制作③3DLED⼤屏:是VR/AR教学系统的输出显⽰设备。
苒苒草3DLED⼤屏独具微调结构,可彻底消除亮暗线和平整度两⼤⾏业痛点,整屏效果平滑如镜。3DLED⼤屏可贴墙、座装或内弧安装,提供N+1冗余备份,具有稳定、安全的特点。
3DLED⼤屏既能将教师于教学⼀体机区域拍摄的AR精品课件予以实时、⽴体呈现,⼜能将教师在VR教学系统中使⽤的VR课件实时投射到⼤屏上,还能当教师在⼤屏前⾛动授课时⾃动将教师⾛动画⾯切换为平⾯资源展⽰画⾯,可满⾜不同教学模式、不同格式课件显⽰的需求。
④录播系统:是⽤于录制现场教学和对外直播、存储、后期编辑、点播的系统。
录播系统可接⼊AR教学系统中教学⼀体机的教师机位和⼤屏区的教师全景机位,可根据教师授课区域位置的变化在两个机位之间进⾏⾃适应切换并输出录制,以保证教师机位的录制效果及其最佳呈现;同时,可接⼊学⽣全景机位,并跟踪分析摄像机的数据,当学⽣回答问题时还可将系统输出与录制⾃动切换为学⽣机位,故实现了教学⼀体机机位、教师⼤屏机位和学⽣全景机位的⽆缝切换。
耳塞棉
VR教学系统⽣成的VR课件可作为机位之⼀接⼊录播系统,⽅便教师根据实际需要剪辑选⽤。此外,录播系统可实现3D 摄像机信号、VR课件信号、教学⼀体机平⾯信号的分别录制,确保各种信号格式教学资源可被分别采集录制,便于⽇后教学资源能被分门别类地使⽤。
录播系统具有完善的资源管理平台,提供简洁的在线⾮编系统,可对视频素材进⾏编辑,⽀持流媒体直播互动;提供流媒体点播系统,⽀持学员对录播系统⽣成的课件进⾏点播;提供后台管理系统,⽤于管理员对各类课件进⾏⼀键置灰、关键词屏蔽、强制播放等处理。
⑤智慧课堂中控PAD:是中央控制系统的移动操控平台。
智慧课堂中控PAD能实现教师对智慧课堂各模块之间的切换调⽤、各显⽰终端展⽰内容以及AR植⼊三维物体、三维动画、特效等,其主要功能如下:
⼀是根据教学内容需求,教师可在相应的时间点通过智慧课堂中控PAD进⾏AR植⼊三维虚拟物体的调出、三维动画的触发、虚拟摇臂等各种特效的使⽤,进⽽实现虚实结合课堂炫酷教学效果的呈现和AR课件内容的录制;
⼆是教师可通过智慧课堂中控PAD进⾏AR教学系统、VR教学系统等的切换,如当授课需求为VR教学模式时,教师可⼀键激活VR教学系统,以实现课堂教学快速、流畅地过渡;
三是教师可通过智慧课堂中控PAD进⾏授课模式与⾃由模式的切换,如选择授课模式时,由教师⼀⼈把控课堂教学内容与节奏,各种VR资源的交互控制也由教师来操作,学⽣仅需观看学习;⽽选择⾃由模式时,学⽣可作为课堂教学的主导者,通过智慧课堂中控PAD、VR头盔等实现与教师、与教学内容的切实交互。
2
环幕投影区
为给师⽣营造⼀个沉浸式的体验空间,智慧教室配置沉浸式⽴体模式环幕投影:组合投影分辨率达到
3600×1200,屏幕全长8.4m,弯曲设计,弧度覆盖100度。
环幕投影区提供完整的环绕⽴体声,可播放⽴体VR课件;与远端教室⾥的同学共享课件时,可实现清晰、逼真的视频再现。同时,环幕投影区配置36坐席的组合桌椅以⽅便移动,让学⽣获得最佳的观看位置。
3
VR/AR课件编辑区
VR/AR课件编辑区的主要配置如下:
①配有⼀套VR编辑器,供师⽣编辑各类VR/AR内容;
②配置5个编辑⼯作站,采⽤⼀拖五的形式,供6位⼯作⼈员同时进⾏编辑⼯作;
③配有1套头盔、⼿柄,供师⽣进⾏交互式预览操作;
④配置⼀台3D扫描仪,以协助学⽣快速完成三维建模⼯作。
4
课件展⽰区
课件展⽰区位于教学空间楼的⼀层,配有3套交互式头盔、⼿柄。学⽣的课件作品、课堂同步交互式教材均可拷贝⾄课件展⽰区⼯作站中进⾏播放。其中,有⼀套交互设备配置数据⼿套和追踪器,可针对⼿动拆装类课件提供更好的体验。
5
5
云渲染平台
云渲染平台采⽤基于图形处理器(GraphicsProcessingUnit,GPU)的云服务器组建为私有云(可考虑“浙⼤专有云”),提供数据的云渲染、素材的云存储、客户端的云管理、⼤数据采集等功能,服务器数量可根据使⽤需求任意扩容。
基于云渲染平台所对接的每种应⽤,均可⼤量节省⾼性能服务器购置,客户端仅需配置低性能的PC、瘦终端、PAD等即可,避免了渲染服务器的重复建设,且便于集中维护;⽤户端则可免于受服务器噪⾳的⼲扰。
综上可知,基于云渲染的VR/AR智慧教室⽐传统的智慧教室在功能上有了明显的提升,主要表现为:①VR/AR教学系统的引⼊,带来了虚实融合的教学场景;②VR/AR课件编辑区的设置,增添了虚拟资源现场制作功能;③云渲染平台的应⽤,提升了制作虚拟教学资源的实时性。
END
声明
本转载⽂章出于⾮商业性的教育和科研⽬的,并不意味着赞同其观点或证实其内容的真实性。如转载稿涉及版权等问题,请⽴即,我们会予以更改或删除相关⽂章,保证您的权利。投稿邮箱:*************。