MIT发布开源逼真模拟器用于自动驾驶
盖世汽车讯 据外媒报道,麻省理工学院(MIT)计算机科学与人工智能实验室(CSAIL)的科学家们创建出数据驱动的仿真引擎“VISTA 2.0”,车辆可在其中学习现实世界的驾驶,并从近乎碰撞的场景中恢复。更重要的是,所有代码都向公众开放。
麻省理工学院教授、CSAIL主任Daniela Rus表示:“当前只有公司拥有类似于VISTA 2.0的仿真环境类型和功能的软件,而且该软件是专有的。而凭借VISTA 2.0,研究界将能够使用一个强大的新工具来加速自动驾驶自适应鲁棒控制的研发。”
VISTA是一款数据驱动的、逼真开源的自动驾驶模拟器,不仅可以模拟实时视频,还可以模拟LiDAR数据和事件摄像头,以及结合其他模拟车辆来模拟复杂的驾驶情况。
基于VISTA打造,VISTA 2.0与现有的AV模拟器有着根本的不同。这是因为VISTA 2.0由数据驱动,即根据真实世界的数据构建和逼真渲染,从而可以直接转移到现实中。虽然最初的迭代仅支持使用一个摄像头传感器进行单车道跟踪,但实现高保真数据驱动仿真需要重新考虑如何合成不同传感器和行为交互的基础。
进入VISTA 2.0:一个数据驱动的系统,可以大规模模拟复杂的传感器类型和大规模交互场景和交叉路口。与之前的模型相比,VISTA 2.0使用的数据更少,因此该团队能够训练自动驾驶汽车,且可能比基于大量真实世界数据训练的自动驾驶汽车更加强大。
该团队能够扩展交互式驾驶任务的复杂性,例如超车、跟车和谈判,包括高度逼真环境中的多智能体场景。
近期,人们已经从更经典的、人工设计的仿真环境转向基于真实数据构建的仿真环境。后者具有巨大的真实感,但前者可以轻松模拟虚拟摄像头和激光雷达。
为了合成3D激光雷达点云,研究团队使用了汽车收集的数据,将其投影到来自激光雷达数据的3D空间中,然后让一辆新的虚拟车辆在原车所在的地方行驶。 最后在神经网络的帮助下,研究人员将所有传感器信息投射回这个新虚拟车辆的视野中。
再加上基于事件的摄像头(其运行速度超过每秒数千个事件)的仿真,该模拟器能够实时模拟这种多模态信息,使得训练神经网络离线成为可能,还可以在汽车增强现实设置中进行在线测试,以进行安全评估。
目前仿真器还无法模拟人类情感,如友好挥手、点头或眨眼表示获悉等,而这些也是研究团队希望在未来工作中实现的细微差别类型。
研究人员之一称:“这项研究的核心算法是如何获取数据集并为学习和自主构建一个完全合成的世界。我相信有一天可以在机器人技术的许多不同轴上扩展该平台。不仅仅是自动驾驶,还有许多依赖视觉和复杂行为的领域。我们很高兴可以发布VISTA 2.0,以帮助社区收集数据集并将其转换为虚拟世界,在那里他们可以直接模拟自己的虚拟自动驾驶汽车,在虚拟地形中行驶并训练自动驾驶汽车,然后直接将成果转移到全尺寸、真正的自动驾驶汽车上。”