自动驾驶系统，要包括感知、计算和决策三个部分，当下炙手可热的人工智能即主要应用在感知和计算部分。激光雷达技术成本居高不下的情况下，大多自动驾驶系统采用摄像头作为主要的视觉传感器，这就对于人工智能的深度学习能力有着直接要求。

吴甘沙把人工智能的应用分成了2 X 2四个象限，即物理世界、数字世界和高风险、低风险。他告诉钛媒体记者， “物理世界的低风险案例有扫地机器人，数字世界的低风险案例是推荐系统，而数字世界的高风险则是金融，无人驾驶就是物理世界的高风险。”

在物理世界的关键任务上一旦出错，问题会很大，因此当AI应用在汽车上，可靠性和鲁棒性就非常重要。

正因为如此，吴甘沙认为人工智能面临的最大问题是——深度学习的“黑盒子”还没有打开。

“我们也很多期待学界的合作，把黑盒子打破，适应自动驾驶的高风险。”他说。

据钛媒体了解，深度学习是受启发于脑神经元对输入信息进行响应从而学习的过程。许多层的模拟神经元和突触都被标记上了数据，这些神经元和突触的行为在学习的工程中不断被调整，直到它们学会如何进行识别。比如说，直到他们学会如何识别一种图片中的猫。

但是问题出在“这个识别过程并不能被解释”。

当一个深度学习网络可以识别一只猫的时候，我们并不知道这个学习系统到底是聚焦在这个图片中的猫须，猫咪的耳朵，还是猫咪的毯子上的。

“Deep Learning作为单一技术，没办法独立承担自动驾驶使命，尤其是‘黑盒子’，数据进去，结果(分类、检测、分割、预测、控制等)出来，多数情况下不可名状地好，但也有些情况莫名其妙地糟糕，里面的逻辑不可解释。”吴甘沙向钛媒体表示。

《机器学习》作者、南京大学计算机科学博士周志华曾形象地描述过深度学习的“黑盒子”问题，

“人昏招的时候从九段变成八段，而深度学习一下子从九段变成初段。”

在吴甘沙看来所谓现在端到端(视频进去、控制出来)的方式是不能被接受的。现在美国NHTSA的自动驾驶性能中有一条跟伦理相关的要求，就是当面临事故的发生时，智能应该给出明确的逻辑该如何判断和选择，而黑盒子是给不出的。

“‘黑盒子’的问题没有解决，是因为针对开放环境，它的适应能力不够，因为今天的机器学习都是基于训练数据集来去做归纳法， 如果这个场景从来没有出现，他处理不了，他不像人类具备强认知功能，具备举一反三、触类旁通、逻辑推理、背景知识、常识等等这些东西 。”吴甘沙说，“ 所以肯定未来会在人工智能算法上提升它的鲁棒性，把深度学习跟刚才说的背景知识、常识、迁移学习、举一反三和贝叶斯逻辑推理结合起来，提升鲁棒性。”