汽车舱内即将发生巨大变化

我们在车里占据的空间将从单纯的封闭空间转变为驾驶体验的参与者。无论是为了安全还是为了舒适，可能会出现各种各样的传感器来监控车辆的“内容”。总体方法被称为舱内监控系统(ICMS)，但具体应用差异很大。

该公司产品营销总监维克拉姆•帕特尔表示:“机舱内传感技术正在大量上线，特别是随着参议院通过《热车法案》以及欧洲和日本的其他NCAP法规。英飞凌．

大部分注意力将集中在司机身上。特斯拉汽车软件和安全解决方案架构师克里斯•克拉克表示:“市场活动正在推动测量心率、驾驶员注意力和驾驶员敏锐度等功能的发展。Synopsys对此．

其他传感器将评估任何乘客的状态。它们一起应该有助于避免司机或其他乘客造成的灾难性情况。但有效的干预和令人毛骨悚然的监视之间必须划清界限。和往常一样，安全性是一个关键的考虑因素。

图1:各种传感器将监控车辆内部，提供安全和舒适的功能。来源:英飞凌

监控驱动程序
有许多情况和不良做法阻碍了今天的司机，他们导致了本不会发生的事故。因此，许多新型传感器都以驾驶员监控系统(DMS)的形式专注于驾驶员的注意力。

dmse并不一定是高端汽车的新产品，但它们已经成为一种附加选项。凯迪拉克设计IP营销总监汤姆•王(Tom Wong)表示:“当你看看高端凯迪拉克时，你会发现他们已经有一个瞌睡司机监测系统四年了。节奏．“他们在车里安装眼球跟踪摄像头已经有四年了，只是这是一个选项，而且他们没有公开推广。”

法规使这成为一个重要的特征。“在欧盟新车评估计划(NCAP)安全评级系统的下一次更新中，dmse被称为获得珍贵的五星安全评级所需的'主要安全'功能之一，”戴姆勒汽车合作伙伴、汽车和物联网业务线主管罗伯特·戴(Robert Day)表示手臂．

政府的要求很可能伴随着保险公司降低事故成本的政策。“这将降低你的保险费，”大卫弗里茨说，自动驾驶和ADAS的高级主管西门子EDA．

今天开车并不难，但在漫长而单调的驾驶过程中，很难保持注意力。半自动驾驶就更难了。“司机”被期望在不开车的时候保持专注——人类的大脑很难做到这一点。

直到所有道路在任何情况下完全自动驾驶成为现实，这将需要数年的时间可能永远不会100%驾驶员分心比现在更可能成为一个问题。

出于这个原因，各种传感器将确保驾驶员完全参与到观察汽车行驶的过程中，以便在需要时进行控制。Cadence解决方案和生态系统高级团队总监Frank Schirrmeister指出:“当我不碰方向盘时，汽车就会感知到。“它承认你不再订婚了。”

回到手动驾驶的原因包括处理意外事件和退出自动驾驶模式，当任务交还给人类时。如果这个人还没有准备好接受交接，那么一些备用动作——比如把车停到路边——将是必要的。

最明显的就是司机昏昏欲睡的迹象。这可以通过摄像头观察司机的眼睛来实现，人工智能可以判断司机什么时候有可能睡着。

衡量司机困倦程度的一个标准是看司机眨眼的时间。Cadence公司Tensilica vision和AI dsp产品管理和营销总监Amol Borkar说:“有一种叫做‘闭眼百分比’的指标，用来衡量你睁开和闭上眼睛的时间百分比。”“他们有一个门槛，说‘如果开放时间低于40%或30%，你就受损了。’”

这已被扩大为一个更全面的评估。博卡说:“他们已经超越了只看眨眼的范畴。“他们正在观察面部取向，可能是情绪、面部温度和注视方向，从而对司机的状态做出更全面的评估。”

更微妙的是检测司机是否脱离驾驶任务的能力。这可以通过监测司机的瞳孔来确定他们的注意力集中在哪里。

但如今的内饰要求人们的注意力从车头转移到后视镜和仪表盘上——至少在驾驶员控制车辆时是这样。注意偶尔会到中央堆栈更改电台或音量。转弯前必须扫视转弯方向，以确保路径清晰。因此，算法将需要考虑正常的眼球运动。

减值是另一个需要寻找的重要因素。虽然摄像机可能是主要的工作，但音频也可以提供帮助。Cadence公司Tensilica音频/语音dsp产品营销总监Prakash Madhvapathy表示:“你可以使用麦克风来检查今天的声音是否比昨天或早上更模糊。”“那么，他们很有可能是由于酒精或其他原因而受损。”

其他评估司机精神状态或健康状况的方法包括观察他们的姿势和监测他们的心率。如果太过不正常，这可能表明健康有问题。

与此同时，驾驶员的舒适性可以通过面部识别来辅助，为已知的驾驶员设置车辆。博卡说:“现在，你可以保存座椅调整、镜子位置和你最喜欢的电台的配置文件。”“但摄像头不需要按下按钮，而是可以很好地瞥一眼你的脸，识别你，并验证你的身份。”

这些传感器也可以帮助免提控制但从长远来看，这将如何发挥作用仍是一个悬而未决的问题。

看乘客
乘客的身份对安全的影响不像司机的身份那样大。但也有一个很大的例外——有些人或动物不能照顾自己，包括孩子、宠物或任何行动不便或有其他限制的人。这就是乘员监控系统(OMS)的作用。

在车里发生的最令人心碎的事情之一就是由于温度过高而导致被忽视的婴儿死亡。类似的问题也发生在宠物身上。在炎热的夏天，把窗户打开是不够的。

一项名为“热车法案”的美国新法律目前正在国会审议。它将要求在新车上安装儿童安全警报系统。欧盟的情况也类似。Arm 's Day表示:“从2022年起，NCAP还将奖励那些拥有OMS功能的车辆，该功能可以检测独自留在车内的儿童。”

从实施的角度来看，这需要做两件事——在司机离开后，检测有人还在车内，以及检测温度已经超过安全水平。

需求的细节在不断发展。英飞凌的Patel表示:“他们仍在决定oem必须做什么，是‘检测’、‘检测并通知’，还是‘检测并确保安全并通知’。”“汽车制造商正在探索技术。例如，如果雷达检测到后座上有心跳，而前排驾驶员座位上的压力传感器显示，‘前排座位上没有人’，你可以打电话给车主、OEM或警察，然后调低车窗或打开空调(如果车内还有足够的汽油或电池寿命)。”

众所周知，孩子们会从安装不好的座椅上爬出来，而匆忙的成年人可能会忽视给孩子系好安全带，或者做得很糟糕。这意味着需要一种全面的方法来检测汽车后座上甚至地板上座位后面的人。

Cadence公司Tensilica IP组的产品营销总监Ted Chua说:“如果摄像头看不到婴儿正在睡觉，那么如果你把婴儿留在车内，雷达就会检测到车内有心跳，并在你锁车时立即警告你。”

虽然DMS可能不需要完全自治，但oms更有可能留下来。Day说:“OMS系统也将在无人驾驶的全自动驾驶汽车中发挥作用，但可以监控乘客的行为，如破坏公物或在车辆行驶时开门，或潜在的医疗状况。”

戴总结了其他OMS的广泛应用。他说:“乘客的愤怒/悲伤或不守规矩的行为可能会导致司机分心。”“还有智能安全气囊和安全带检测;座椅、暖通空调和手势控制;以及乘客身份识别。”

传感器的另一项创新涉及共享汽车。指出。Synopsys汽车业务发展副总裁Walter Wottreng表示:“传感器可以判断汽车是否清洁，车内是否正在发生争吵或损坏，甚至是否有人留下了钱包、智能手机或充电线。”“它可以通知他们回到车里去取。”

摄像头，雷达，但没有激光雷达
关于哪些传感器将用于哪些应用，人们的意见有很大的不同。考虑因素包括冗余，其中不同的传感器弥补彼此的弱点，特别是在极端情况下。成本也是平衡传感器的一个主要因素。

从价格和相对先进的状态来看，相机似乎占据主导地位人工智能(AI)用于视觉应用。Wottreng说:“每个摄像头背后的技术包括人工智能算法的处理，例如眼球跟踪、面部检测、物体检测等。”

但相机的类型和位置可能会有所不同。例如，位于转向柱或仪表板上的驾驶员监控摄像头可能是窄视场(FoV)型号，而位于中轴、后视镜或顶灯上的乘员监控摄像头可能是宽视场版本。

福特汽车高级总监Willard Tu表示:“如果你只是想要前置摄像头，那么每个人都很乐意在仪表板或后视镜的中央安装一个前置摄像头。赛灵思公司．

与此同时，雷达被一些人视为摄像头功能的补充。虽然可以使用多个摄像头，但一个雷达单元可以穿透所有内部。“雷达有更多的能力看到周围的东西，所以这就是为什么他们在机舱里讨论短程雷达，”屠说。

有些人比其他人更依赖雷达。Cadence汽车解决方案总监罗伯特·施威格(Robert Schweiger)说:“它可以检测出车内有多少乘客，后座上是否有婴儿，司机的姿势，他们的心率等等。”

它还可以帮助定位车内的物品，无论是人、宠物还是财物。“成像雷达的分辨率可能相当低，但仍然可以提供更多，因为2D不够好。它需要在飞行器中构建一些物体的形状。”

一组雷达回报可以通过不同的算法进行分析，以提供这些不同的应用。

而激光雷达可能有一个角色，观看汽车的外部，似乎没有什么胃口在里面。目前它非常昂贵，而且它本身并不能提供任何杀手级应用程序。与外部使用不同的是，它不会被认为是在摄像头和雷达的基础上增加任何价值。

此外，还有一个安全问题。当激光雷达在车外使用时，它会对经过的物体和行人进行短暂的打击。在小木屋里可不是这样的。蔡美儿说:“如果你在机舱里，人类没有太多的活动空间。”“那么激光安全吗?”

然而，激光雷达可能在货运车辆上发挥作用，这是一种可能有更好投资回报的应用。“你可以在货物区顶部安装一个激光雷达传感器，在那里你可以扫描和监控，并问，‘所有这些货物都还在正确的位置吗?’”蔡美儿说。

音频可以发挥作用
使用麦克风的原因有很多。最常被提及的是检测孤立在加热车中的婴儿的哭声。然而，在这个角色中，它将是其他传感器的补充，因为无法保证处于困境中的婴儿会哭出来。

道路噪音消除是另一个可能的应用。这比看起来要复杂得多，因为内部对话和音乐，以及重要的外部声音，如汽笛声，都不能取消。

Madhvapathy说:“进入机舱的风声必须以某种方式消除。为此，他们在机舱内散布麦克风。他们在底盘和传动系统上安装了加速器来捕捉振动。他们将加速度计感应到的运动与音频信号联系起来。”

还有一些来自车外的重要声音。Madhvapathy说:“里面有麦克风，也可以听到外界的声音。“不仅是警笛，还有喇叭声、撞击声或玻璃破碎声。”

理论上，从声音中减去振动应该足以保存外部声音。但识别它们提供了一种使用人工智能强调重要声音的冗余方式。Madhvapathy指出:“如果你试图使用传统的DSP技术，那需要大量的编程工作。“很多算法都在朝着人工智能的方向发展。”

麦克风可以一直开着。“麦克风不需要太多能量就能一直开着，”屠说，“我们已经在手机上看到了这一点。”

其他传感器，其他功能
最后，虽然温度传感器已经存在于汽车中，但座位上的压力传感器可以确定乘客的位置和体重，帮助缓解(或取消)碰撞时单个安全气囊的触发。

另一个应用是当自动驾驶汽车必须快速规避可能涉及高G力的机动时。

弗里茨说:“如果我们有一个惯性传感器，我们知道人的质量，然后我们可以做一些事情，比如放松或收紧安全带，软化或改变座椅的角度，使这些高性能的机动不仅可以生存，而且实际上是舒适的。”

传感器的具体配置预计会有很大差异，预计高端汽车的传感器会比低端汽车多。究竟哪种传感器最适合哪种应用，以及为了实现冗余需要多少传感器重叠，这些都是尚未解决的问题。

成本将有利于使用相对便宜的相机。他说:“目前，主要的焦点是一个摄像头，再加上你的温度，再加上麦克风作为起点，然后你要么再增加一个摄像头，要么再增加一个雷达。”

所有传感器都有它们擅长的特定领域——也许只有它们能擅长。“但所有这些传感器的合作将为消费者提供更好的特性、服务或功能，”Chua说。

其他系统的增加将需要在更好的性能需求和额外传感器的成本之间取得平衡——包括硬件方面，更重要的是，在融合和解码所有传感器数据所需的软件方面。一些人认为传感器的丰富组合是前进的方向。

“你不必依赖于一个传感器，”Tu补充道，“这就是传感器融合的未来之路。”

但一些人预测，未来改善成本的可能性会更小。Fritz表示:“原始设备制造商对成本非常狂热。“雷达不会做任何廉价的小2美元相机不能做的事情。这是我们从德国、北美、日本、中国和韩国的原始设备制造商那里听到的立场。”

至于机舱传感器融合将在哪里进行，目前还不完全清楚。“计算通常利用应用处理器和机器学习、gpu和图像信号处理的组合，”Day说。“这些通常存在于专用于DMS功能的独立SoC中，但也有一种想法是，该功能可以与ADAS/自主中央计算相关联，作为从内部摄像系统获取反馈的软件工作负载。”

客舱的处理不一定会很轻松。Wottreng说:“进行传感器融合的芯片和系统需要相当快的吞吐量来处理数据流。

这可能会引发一个类似于影响的问题外部传感器，关于是使用高级融合、特征级融合还是低级融合。Rambus安全技术产品经理Thierry Kouthon表示:“在高级融合技术中，传感器及其相关处理单元完成大部分跟踪工作，将目标信息发送到中央处理单元。”“通过低级融合，传感器将原始数据发送到中央处理单元，中央处理单元将进行所有跟踪和物体识别。特征级融合是一个中间阶段，传感器将执行一些跟踪工作，并将特征发送到中央处理器。”

安全注意事项
这些类型的传感器数据流添加了两者隐私还有安全问题。对于外部攻击，作为遥测流的一部分发出的传感器数据可以被拦截，作为“窃听”司机或其他乘员的手段。

Synopsys的克拉克说:“假设这是一起有组织的犯罪活动，或者是一个试图监控个人信息的民族国家活动。”“我能不能利用摄像头，通过面部识别和某种类型的软件，来看到那个人在说什么，告诉我说了什么?”

如果不传输原始视频，这将变得更加困难，而且带宽可能不会用于传输。但需要解决的更大问题是，黑客将试图找到一种方法，以设计车辆功能时从未设想过的方式使用或滥用系统。

“摄像头是否会造成车辆设计阶段不存在的安全漏洞?”克拉克问道。

为了避免这种情况，任何通信都需要进行身份验证和加密，不管这对一些看似无害的数据来说有多过分。目前，车辆之间可能有一些需要保护的通信通道，但在未来，这些通信通道很可能会被整合成一个通道。Clark说:“我们使用‘空中更新’这个术语。“但它将成为车辆中任何数据的主要传输方式。”

在车辆内部，可以在底盘上安装一个设备，通过侧通道或网络监听来获取数据。这在使用不安全的CAN总线时是可能的，但是如果汽车以太网始终使用，安全性应该使其成为一个更加困难的命题。

与此同时，汽车将越来越多地配备必要的硬件，以实现广泛的可选功能。然后，原始设备制造商可以出售或租用这些功能，使用软件启用或禁用这些功能。

来自司机的威胁是，他们会想办法侵入系统，启用他们没有付费的功能。售后工具在这里可能扮演着特别有害的角色，专家们了解安全漏洞的位置，这样他们就可以从车主那里获利。

克拉克说:“售后市场以了解制造商如何实施安全措施并找到解决方法以提供消费者正在寻找的服务而臭名昭著。”

结论
事实上，目前仍在决定使用哪些传感器来做什么，这表明在它们上路之前还需要一段时间。计划在未来几年内销售的车辆的设计已经完成。

对于像欧盟要求的DMS系统这样的系统，授权要求在未来几年内可用。但是，预计实现的数量是最少的，只满足法规的需要，仅此而已。弗里茨预测:“到2025年，你会开始看到很多这样的东西。”

到那时，驾驶体验可能会发生巨大变化。消费者的反应值得关注。他们会认为这会让他们的旅行更安全、更舒适吗?或者，他们是否会抵制对前几代人以更大的自由完成的任务进行微观管理?

这既取决于实现的细节，也取决于驱动程序在如何或是否工作方面的发言权。

相关的
传感器技术的创新
更好的数据管理、更高的准确性和更低的功耗方法是最重要的。
竞争的汽车传感器融合方法
成本、数据量和复杂性驱动了多种解决方案。
传感器和dsp的变化
专业化和组合的影响。
自动显示:更大，更亮，更多
随着屏幕被集成到安全关键系统中，芯片受到了新的审查。
汽车传感器融合的挑战
随着越来越多的自动驾驶汽车拼图进入人们的视野，挑战也越来越艰巨。