【安信汽车】很多领导关心AI大模型在车上的应用,简单汇报一下观点:
1、智能座舱方面:
最先落地的必然是AI语音交互。目前小米、理想等注重座舱应用的主机厂已经开始在做,其实就是把GPT模型本地化部署,因为GPT本身需要的云端/边缘端训练算力较大,因此主机厂的核心工作就是对GPT进行轻量化,或者说是阉割。
2、智能驾驶方面:
核心是对自动驾驶感知算法,乃至于整体算法的革命性升级。
如果把Transformer比喻成线性代数,那LLM大语言模型就是线性代数的应用,落地的具体场景可以是做个chatGPT,也可以是做个自动驾驶感知算法。而当自动驾驶感知算法应用了Transformer门下的大模型之后,最大的好处在于提升了泛化能力,也即提高了识别物体的准确度以及丰富度。
具体而言,以前自动驾驶感知算法用的是CNN等小模型,识别原理是自己先看,看完到自己知识库里面去对比,如果以前学过的话,万事大吉,可以准确识别;如果没学过那就尴尬了,所以特斯拉才会撞到侧翻的白卡车,因为他只学过白色的云,他以为那是片云。说白了就是通过穷举法去进行感知能力的提升,识别日新月异的路况是十分有限的。
但当有了大模型在感知中的应用后,相较于小模型引入了注意力转移机制,意思就是可以在有限的标注数据的情况下,找到相似障碍物之间的相关性(或者说是共性)。有了对于相关性的认知之后,假如有一个全新的物体出现,大模型可以对比这个障碍物与之前所认识到的共性,由此推理这是否是个障碍物。
所以带来的好处就是:标注工作大幅降低(你只需要给他起个头,后面都可以自动标注);泛化识别能力大幅提升(使得高阶自动驾驶功能可以同时在全国所有城市落地,不再依赖于高精度地图鲜度的限制,也即可以实现脱图);识别准确度/语义信息大幅提升(使得非常成熟之后不再需要激光雷达,仅凭摄像头就可以识别的很准)。
我们最先可以看到的就是2024年小鹏脱高精度地图CNGP功能的落地,这就是Transformer对自动驾驶行业赋能的体现。