图像由斯堪尼亚商用汽车有限公司/GEISTT AB提供

斯堪尼亚对新型HMI概念的实时模拟

2020年11月6日
GEISTT AB是一家高度专业的机构,专门提供提高人机系统整体性能与安全性的咨询服务、实践方法、实用工具和应用研发。GEISTT运用的是面向研究的多学科实用方法,以情境化人类认知与行为领域的实用科学专业知识为基础,结合对先进技术与组织效能的深刻理解。

这家公司自2013年起就与重型车辆制造商斯堪尼亚的互动设计团队合作,提供研发服务、概念开发和基于模拟的测试。斯堪尼亚利用这些模拟来分析其人机界面(HMI)概念的效果,从而将后者应用于从新的UI功能到无人驾驶车辆交互程序的各种用途。 

为了在开发过程中更早地实现更节省资源、更有沉浸性的未来概念测试,GEISTT将斯堪尼亚的人在回路模拟功能从一种消耗大量资源的专用模拟器移植到虚幻引擎中。 
图像由斯堪尼亚商用汽车有限公司/GEISTT AB提供
此举产生的商业价值是不可估量的。“归根到底,我们是要量化一种有效的模拟功能对于公司的价值。”GEISTT的用户体验研究员兼认知设计工程师Jon Friström说,他作为产品负责人为斯堪尼亚的HMI模拟团队提供咨询,“一种更好的产品对公司来说有什么价值?在开发过程的早期发现用户体验的问题可以节省多少钱——选择成本是多少?”

使用实时模拟的沉浸式HMI测试

斯堪尼亚的互动设计团队经常要进行迭代。每一次迭代都会使他们开发的概念更接近最终产品。对概念执行测试是为了提供关于概念的性能的反馈。目标基本上总是在概念投入或被提议投入后续开发前了解概念在其设计针对的自然情境中会有怎样的表现。这将使开发团队有机会在早期修正小问题,乃至重新设计整个概念。发现问题越早,解决问题的难度和成本就越低。

随着开发项目的推进,概念测试迭代的真实性、复杂度和成本都会水涨船高。在斯堪尼亚的互动设计组中,早期测试通常是使用纸上原型完成的,而后期测试需要的资源就比较多,要在驾驶模拟器中执行。在使用现代化实时技术之前,斯堪尼亚的典型开发项目会包含几个在纸上通过线框执行的早期用户测试,可能也包含在计算机上的交互式原型,最后还有一次旨在验证概念的模拟器研究。

这意味着新提出的概念在模拟器环境中只会经受一次测试,开发者获得来自模拟器研究的反馈之后,无法再次测试他们的概念。现在通过使用虚幻引擎,团队可以在开发过程中更早的阶段,通过沉浸式模拟来测试概念。虚幻引擎与C++的强大关联和它的开源性质使团队能够针对特定用例方便地改造技术。“例如,我们可以比较方便地使用虚幻引擎作为平台,以非常灵活的方式连接不同的插件和系统。”Friström解释说。 

驾驶员交互模拟

斯堪尼亚互动设计团队重点研究的主要领域之一就是驾驶员交互模拟。这需要测试作为系统一部分的HMI概念,其中包括了驾驶员与其车辆,往往也包括其他汽车或行人。
图像由斯堪尼亚商用汽车有限公司/GEISTT AB提供
在测试先进驾驶员辅助系统(ADAS)的原型时,团队使用真人驾驶员比较原型系统的各个变种。在许多这类测试中,参加者会反复且出乎意料地暴露于极端情境中,如果测试是在真实的试车跑道或有着真实交通的实际公路上进行,驾驶员或车辆周围的人都会面临极大的危险。

有些测试还涉及评估面向特定用户群体的高级功能。例如,运木卡车驾驶员和中心城区经销商有着不同和特定的需求。团队会评估可以明确帮助这些用户群体的功能,并测量工作效能和效率增益。

他们还探索了新的UI概念。这可能包括由真人驾驶员执行的新UI原则(例如早期信息娱乐系统概念的各种变体)对比测试,目的是确定最佳的交互原则,并将它们结合到概念的下一次迭代中。

在大多数测试中,模拟团队会跟踪制动压力或车道偏离等客观数据,反应时间、眼球跟踪和心率变化等生理数据,以及包括愉悦性/用户体验调查评分在内的主观数据,和通过对测试者的访谈获得的体验反馈。 

人类自动化交互模拟

斯堪尼亚互动设计团队还创建了用于测试人类自动化交互的模拟。这些模拟可以分成三类。 

第一类探索车辆自动化与驾驶员之间的关系。这类研究项目的研究重点是不同类型情境中车辆控制权的让渡与收回——例如在长时间休息后或紧急情况下。
图像由斯堪尼亚商用汽车有限公司/GEISTT AB提供
测试探索了在车辆自治度提高时驾驶员的角色如何变化,从而确定如何设置规程来预防自动化疲劳,给驾驶员提供对于自动化的意图和世界感知的正确心态模式。这些研究已经以VR和驾驶模拟器形式进行。

第二类人类自动化交互测试专注于控制室环境的研究和开发,用于管理不同类型的无人驾驶车队,例如露天矿山中的特种车辆或者公共交通系统中的公共汽车。 

最后,团队还探索了外部行为人对无人驾驶汽车的控制与意图感知。这需要研究如何远程控制自动化车辆——例如矿山中的无人驾驶装卸卡车,或研究如何设计车辆的外部人机接口以便人们更好地理解其状态与意图。这类项目主要使用VR使研究者或受试者沉浸在模拟中。
图像由斯堪尼亚商用汽车有限公司/GEISTT AB提供
Friström指出,斯堪尼亚互动设计团队开展的这类研究项目正在稳步增长。“我们看到,研究和测试人与高度自动化系统之间关系的项目在各行各业都普遍增加,这是因为这类系统的复杂度不断增加,在不同情境下交互的人工智能(AI)的水平往往也越来越高——所以我们预计,未来会看到更多人在回路实时模拟的使用案例。”他说。 

对于Friström的团队来说,选择虚幻引擎作为实时平台已经给ROI带来了显著影响。“由于我们开发的系统的性质,使用虚幻引擎肯定比使用其他类似引擎更经济。”他说,“我们不用支付额外成本就能直接访问源代码,社区支持也很棒,Epic提供的技术支持更是物有所值。”

用于开发的开放平台 

对于测试不同HMI概念的工作人员来说,使用游戏引擎之类的开放平台工作有着显著的优点。“对我们来说,最大的优点就是可以把虚幻引擎作为灵活的平台使用,集成多种不同的封闭系统。”Friström解释说。

在他的团队使用的模拟器中,车辆动态是由一种外部封闭式模块——Mechanical Simulation的TruckSim——和虚幻引擎提供的内置载具模型处理的。 
图像由斯堪尼亚商用汽车有限公司/GEISTT AB提供
同样,模拟中的声音是由封闭式外部模块——Audiokinetic的Wwise——和虚幻引擎中内置的音频工具处理的。随机生成的交通是通过封闭式外部软件Sumo导航的,但在某些情况下,团队也使用了引擎的内置工具来导航周边交通。“可以灵活改造实时引擎来容纳和使用这些不同模块,是虚幻引擎的一大优点。”Friström说。

团队使用的另一种不可或缺的功能是nDisplay,这种技术能在多台同步的显示设备上渲染虚幻引擎场景。nDisplay使GEISTT的模拟器能够将工作负载分配到网络中的许多计算机节点上,而不是只依赖一台计算机。“通过这种方法,我们可以把环境渲染到无限多的投影屏幕上。”Friström解释说。 

迎接未来的HMI模拟挑战 

Friström和他的团队已经把他们的HMI概念测试全面转移到虚幻引擎中。“和我们以前使用的模拟器平台相比,UE4拥有更广泛、更能提供支持的社区。”他解释说。

通过这种方法获取的知识和支持对于让GEISTT的模拟器正常工作发挥了不可估量的作用。谈到未来,Friström预测模拟将会在优化车辆的用户体验方面扮演越来越重要的角色。“我们能够看到的是,所有汽车公司都在越来越多地使用不同形式的用户体验模拟,这一趋势在其他行业也很明显。”
图像由斯堪尼亚商用汽车有限公司/GEISTT AB提供
使用虚幻引擎作为HMI概念设计和测试平台,GEISTT和斯堪尼亚已经为迎接未来挑战做好了准备。

    让我们谈谈!

    有兴趣了解怎样发挥虚幻引擎用于训练与模拟的潜力吗?请联系我们来开始对话。
    活动
    Unreal Build:虚拟制片2020
    11月10日(星期二),你可以安坐家中迎来“Unreal Build:虚拟制片”,这是一次为期半天的免费虚拟活动,将会展示许多神奇的项目和来自影视行业开拓者的创新。
    活动
    新闻
    2020线上虚幻引擎技术开放日,与您共襄盛会!
    一年一度的 Unreal Open Day 虚幻引擎技术开放日,今年将于11月27-28日,连续两天在线上为全国各地的虚幻开发者带来横跨游戏开发、行业应用、引擎特性等多个维度的技术干货。
    新闻
    新闻
    在线沟通虚幻引擎社区
    虽然全球的线下活动都已经暂停了,但大家还有很多方法可以与虚幻引擎社区在线沟通。
    新闻