如何测试自动驾驶汽车

文/凯文·福格蒂，埃德·斯珀林

研发自动驾驶汽车测试方法的竞赛正在展开，以证明它们在大多数路况下都是安全的，但事实证明，这比最初想象的要困难得多。

自动驾驶汽车技术本身仍处于不同的发展阶段，汽车制造商正在努力微调AI算法，以便引导有轮子的机器人通过一系列障碍和环境。测试所有这些技术，并跟上不断变化的潮流，已成为一项重大挑战。

这些问题包括:

•测试需要在组件的整个生命周期内保持一致，这意味着测试供应商需要投入资源，在指定的时间内维护特定产品的测试设备。对于仍处于早期发展阶段的技术来说，这是一笔巨大的投资。
•自动驾驶汽车中的芯片需要在各种各样、有时是恶劣的环境条件下持续使用10年或更长时间。然而，到目前为止，道路上还没有完全自动驾驶的车辆，因此它们随着时间的推移表现如何完全基于模拟。测试方案仍在开发中，包括真实测试和模拟。
•随着更快的通信标准的推出，测试将从组件的物理测试转向物理和空中测试的结合，这将需要确保通信速度足以保证安全。

V93000电源、模拟和微控制器解决方案业务开发总监Derek Floyd表示:“有很多组件的开发周期相当长效果显著．“对于任何新设计，你都需要测试硅，验证它，将它交付给客户，然后在他们真正接受产品之前经历12到18个月的现场试验。这就是为什么他们不会同时更换车上的所有东西。它是逐步使用多个部件的。但是您仍然需要维护10年的测试设备和流程。所以你需要面对许多具有较长开发周期的组件。”

随着汽车越来越自动驾驶，这个问题变得更加复杂。

“你需要验证技术才能达到5级，”弗洛伊德说。“你还必须知道哪个供应商在使用哪种产品。在汽车行业，每一种产品都需要两到三家供应商。”

测试流本身也必须改变，这将在供应链中造成重大的中断。

“两件事正在同时发生，”安尼尔•巴拉(Anil Bhalla)表示天文测试系统．“首先，使用自动测试流程，您可以采用半导体的正常测试流程，并添加温度(冷、热和环境)，然后添加多个质量插入。结果是您最终得到了一个非常复杂和昂贵的测试流。除此之外，一些汽车零部件正在转向更低的节点和先进的包装，目前的测试还不能覆盖所有这些。使用ATPG的7纳米器件，你只能得到大约85%的覆盖率。这意味着有数十亿个晶体管没有被测试。如果这些晶体管处于关键路径，那就是一个大问题。”

直到几年前，汽车公司还被认为是技术的后来者。但随着汽车中电子设备数量的增加，以及汽车制造商共同推动自动驾驶，这种情况已经发生了重大变化。

“所以现在你还必须为系统级测试添加一个流程，因为你需要达到零缺陷，”Bhalla说。“但这里有这么大的势头，你会看到人们开始在考试上创新。从pc转向游戏，再到手机，我们都看到了这一点。测试流程当然是其中的一部分。”

新方法
激光雷达等新技术也为汽车测试带来了一些新的变化。

“激光雷达的挑战在于测量电流和功率消耗，”微软半导体首席营销官David Hall说国家仪器．“对于激光雷达，如果你在很长一段时间内集成电源，散热就会很高，所以解决方案是使用脉冲方法。但随着脉冲宽度越来越窄，峰值功率也会越来越高。”

他说，最新版本的激光雷达在亚微秒范围内，这意味着扫描速度已经从毫秒上升到微秒。

自动驾驶汽车的大部分技术仍在开发中，这意味着无法通过行驶数百万英里来测试可靠性。但一些模拟而非道路测试的可靠性存在问题。

通用汽车Cruise的工程师克里斯·布罗德斯(Chris Broaddus)说:“在把它应用到机器人上之前，你可以在模拟中做很多工作。”“这可能只需要5分钟，而不是在实地工作半天。你将如何在这个领域进行回归测试?但有一个问题是，如果某项技术在一辆汽车上有效，是否就适用于所有汽车?”

它是否适用于所有路线?那么各种自动驾驶汽车呢?空客A3自动驾驶系统负责人阿恩•斯托谢克(Arne Stoschek)表示，一个解决方案可能是大幅限制无人机等自动驾驶车辆的行驶路线。

“如果你在纽约经营一辆自动驾驶出租车，你必须覆盖一个合理的区域，”斯托切克说。“但这是一个区域问题，这是一个非常困难的问题。但如果你使用的是点对点连接，而且只是在旧金山或圣何塞的一个地方，那就容易多了。通过点对点连接，您可以出于业务案例和安全原因选择它，并且可以完全建模和模拟并拥有它。在任何拥挤的地区，比如人口超过1000万的大城市，问题是你如何扩大规模，并让客户接受。”

同样的原理也适用于无人机和汽车。虽然真实世界的测试仍然是黄金标准，但模拟要快得多。而且它们变得更容易实施。例如，英伟达(Nvidia)推出了一项名为DRIVE Constellation的基于云的模拟服务，其中包括一个模拟汽车传感器的模块，以及模拟操作汽车的软件堆栈的附加技术。该硬件在环平台每秒循环30次，以确保模拟数据和模拟软件使用真实数据正确运行，从而产生车辆在道路上运行状况的可靠预期。

ANSYS、西门子、Mobileye和Metamoto等初创公司都推出或更新了类似的服务，其中大多数都强调测试系统本身的功能和集成。这是否真的能确定自动驾驶汽车在道路上使用是否安全尚不得而知。

卡耐基梅隆大学电气与计算机工程副教授Philip Koopman表示，仿真和验证系统非常擅长发现芯片组的缺陷或硬件冲突，并且非常擅长减少实际道路测试所需的英里数，以确保自动驾驶汽车中的所有传感器和控制系统有效地协同工作经常发布关于他在自动驾驶汽车安全测试和验证方面的研究。

这基本上符合美国有关安全的规定，这些规定主要关注车内设备的机械操作，以及在碰撞时如何应对。但联邦机动车辆安全标准(FMVSS)，以及标准，例如ISO 26262Koopman说，该研究涵盖了车辆电子系统的安全，并不认为这些设备可以控制车辆的行为或防止碰撞。

美国交通部(Department of Transportation)正在效仿汽车制造商对自动驾驶汽车进行监管，但到目前为止，他们主要希望豁免现有规则——比如要求配备方向盘——这些规则可能不适用于自动驾驶汽车。库普曼表示，美国需要完善自动驾驶方面的法规，以确保自动驾驶汽车能够安全运行，而不仅仅是确保自动驾驶汽车中的机械设备在启动时能够正确运行。

根据最近的一项研究，自动驾驶汽车应该被要求通过一项测试，以准确地展示它们在道路上行驶的安全性出版作者是德州农工大学的计算机科学家和机械工程副教授Srikanth Saripally。他的研究包括开发自动驾驶汽车和安全关键功能，如使用激光雷达探测路标。Saripalli写道，反复比较人类和自动驾驶汽车对相同模拟场景的处理情况，可以很好地了解自动驾驶汽车在道路判断方面与人类的差异。

密歇根大学(University of Michigan)电气工程和计算机科学教授阿图尔·普拉卡什(Atul Prakash)表示，很难证明这是否定的，因此即使进行多次重复的对比测试，也只能显示自动驾驶汽车表现如何的可能性越来越大，而不能提供100%的确定性。他的研究显示了自动驾驶汽车是多么容易受到破坏，甚至是像添加涂鸦这样简单的事情，让自动驾驶汽车看不见停车标志。

普拉卡什说:“如果某样东西没有通过测试，那显然是有问题，但如果它通过了，你仍然不能确定。”“这并不是说数据没有用处，而是有很多问题，比如它如何处理传感器不干净或工作不正常的故障情况，软件更新——这些都是常规的事情，但仍然可能是一个挑战。”

图1:针对LISA-CNN和GTSRB-CNN的物理对抗示例示例。来源:深度学习视觉分类的鲁棒物理世界攻击，由密歇根大学的研究人员完成;华盛顿大学;加州大学伯克利分校;Samung Research America;石溪大学。

路牌是很容易被攻击的目标，可以对毫无戒心的自动驾驶汽车产生重大影响。

Koopman表示，确保自动驾驶汽车安全的唯一方法是在监管方面定义自动驾驶汽车如何安全运行的限制和要求，然后根据该标准测试自动驾驶汽车的行为。

Strategy Analytics汽车互联移动业务主管罗杰•兰托特(Roger Lanctot)表示:“不幸的是，监管机构正在盲目行动。”“他们没有一个参考点来评估这些系统。关于你需要开多远的车才能产生能够达到。999置信水平的算法洞察力，还存在一些争论，目前没有任何认证机构能够做到这一点。”

兰托特说，德国技术监督机构TÜV SÜD正试图制定一些指导方针，但它所认证的具体内容以及它们与欧盟其他国家和美国监管机构分散立场的关系尚不清楚。

创建性能标准的一个主要工作是草案ISO 21448该标准涉及有助于车辆安全运行的电子系统，而不是现有标准所规定的电气系统本身是否安全运行。Koopman表示，即使这些要求被接受，也只涵盖了高级驾驶辅助系统(ADAS)的某些方面，而不是完全的自动驾驶。

没有指导方针的通用测试可能会提高AV安全的概率，但不考虑定义AV永远不应该做的事情的特定优先级的规则，而不是使这种行为不太可能发生但不完全排除它的经验测试。

Koopman表示:“在模拟过程中，汽车必须专注于该实例。”“即使你能测试所有可能的场景，也不能保证软件不会在某个周二下雨和日食的时候试图杀死你。这不是测试的目的。”

图2:自动驾驶汽车中验证和验证周期所需的测试场景数量。资料来源:西门子旗下的Mentor公司。

的首席技术官Norman Chang表示，很难理解机器学习应用程序为什么会做一些事情，这只会让故障排除或预测变得更加困难有限元分析软件．“天性深。神经网络它就像一个黑盒子;如果你需要修理什么东西，就不容易看到里面发生了什么。”

应该有一个更明确的指导方针，但技术提供商别无选择，只能采用最流行的解决方案，目前的解决方案是模拟道路里程，并生成足够的内容，从每个可以想象的角度测试自动驾驶汽车。

Chang表示，在4级或5级自动驾驶汽车上路之前，还有足够的时间来制定标准和测试方法，而模拟测试确实提供了更多数据，可以帮助改进自动驾驶汽车中的机器学习软件的决策方式。

Chang说:“10年后，如果你坐在一辆车里，没有人开车，你甚至不会想它。”“目前，模拟技术正在挑战我们的能力极限。”

在我哔声之前还有好几里路要走
自动驾驶汽车需要数百万英里的真实或虚拟测试，这一假设在2016年兰德公司(Rand Corp.)的一份报告中被描述和量化后，就成为了普遍智慧。研究他的结论是，自动驾驶汽车必须行驶数百万或数十亿英里，才能向消费者证明基本的安全性，如果没有明确的证据表明自动驾驶汽车发生致命事故的可能性至少比普通人低10倍，消费者是不会相信自动驾驶汽车的。

兰德公司的报告总结说，要实现这一目标，技术提供商必须想出创新的方法，在不消耗数百万英里的时间或资源的情况下驾驶数百万英里。这就是模拟测试的用武之地。

“没有模拟、建模或其他方法来证明安全性，所以联邦指导方针没有回答这个难题也就不足为奇了。后续兰德报告的原始版本研究表明，自动驾驶汽车可以将交通死亡人数减少90%的预期可能被夸大了，但辅助驾驶可能减少高速公路死亡人数的潜力应该足以激励我们继续前进。

“即使自动驾驶车队行驶了1000万英里，人们仍然无法得出关于安全性和可靠性的统计结论，”该研究的合著者、兰德公司的高级统计学家苏珊·m·帕多克(Susan M. Paddock)说。

在一月民意调查数据移动提供商Solace对1500人进行了在线调查，结果显示，在自认为拥有网联汽车的司机中，57%的人表示，即使成本不是问题，他们也不会购买自动驾驶汽车。49%的受访者表示，他们可能会依赖车道监视器/警告或盲点探测器等安全传感器;35%的人说导航驾驶提示是他们最信任的音频提示。但40%的人表示，他们不相信一辆汽车会自动刹车或其他驾驶员辅助装置来应对交通状况。

ANSYS的Chang表示，向真正自动驾驶的发展将是缓慢的，而且会出现功能逐渐增强的驾驶辅助系统版本，这些版本应该会让驾驶更安全，并通过熟悉来建立消费者的信任。

这可能需要数年时间。

该公司业务发展副总裁Anush Mohandass说:“归根结底，车祸和死亡人数必须下降10倍。NetSpeed系统．“但如果自动驾驶汽车的伤亡人数从4万人增加到1万人，就会引起强烈抗议。我需要看到道路测试的硬数据，才能知道它是否有效，而且在我的环境中，因为一个地方的条件与另一个地方的条件相差很大。但这就是理性和非理性的作用所在。我的理性大脑告诉我，虚拟或模拟测试和真实测试一样好。但我会让我的孩子坐在我们只在虚拟空间中测试过的车里吗?没有。”

有关的故事
以太网驱动
随着传感器数据量的激增，汽车中的通信系统正在被重新设计。
技术讲座:ISO 26262深入
在汽车电子市场站稳脚跟所需要的。
ISO 26262统计数据
科技讲座:安全标准的统计基础。
自动驾驶车辆规则
芯片制造商将继续受益，但要让自动驾驶汽车主宰道路，还有很长的路要走
内置安全的汽车芯片
自动驾驶对芯片、子系统和系统的安全性要求更高，而这仅仅是个开始。