一家车厂，冲进了大模型安全第一梯队。
最近，中国计算机学会(CCF)举办了大模型安全挑战赛，参赛者包括一众大模型安全公司，知名研究机构等。
激烈的角逐后，成绩放榜，让人意外：
第一梯队的玩家里，竟然有一家车厂，而且还是一家成立不到10年的新势力，理想。
为什么一家车厂能冲进大模型安全第一梯队？
大模型安全都有哪些问题，怎样解决？
如何建设大模型安全能力？
带着行业关心的问题，智能车参考对话了理想汽车资深安全总监路放及其团队成员熊海潇、刘超，探究理想在AI安全上的思考。
△ 理想汽车 路放
在路放看来，理想参赛并不是为了获奖，也不是为了炫技。
参赛只是为了验证能力，获奖就是能力的证明，进一步促进自我提高。
参赛的最终目的，归根结底，还是为了守护100万个家庭的AI安全。
大模型都有哪些安全问题？
大模型正在重塑一切，然而新事物为人们带来新体验的同时，也带来了新的问题，具体到安全领域，包括Prompt注入、回答内容安全、训练数据保护、基础设施与应用攻击防护等等。
问题之多难以尽述，因为大模型面对的语言空间是无限的，这就导致大模型安全和自动驾驶一样，都有着无穷无尽的Corner Case。
所以，路放针对部分常见问题进行了解析，比如Prompt注入。
路放表示，大模型的Prompt注入和安全领域常见的SQL注入很多相似之处。
只不过以前是用编程语言制造bug，如今则是利用人类自然语言的“bug”，即通过语言的二异性，指代关系的错乱，绕过大模型前侧的防护。
比如防护方输入指令，告诉大模型，你要做一个正直的大模型，诚实的大模型，输出的内容都要三观正。
攻击方此时进行prompt注入，告诉大模型：前面的话都是“逗你玩儿”。
由于大模型具备上下文的理解能力，就会忽略掉前面的安全指令。
攻击者甚至可以利用Prompt注入劫持大模型，让大模型按照其指定的行为工作。
除此外，攻击者还可以从数据本身入手，篡改训练数据，制造问题。
比如谁是NBA的G.O.A.T(历史最佳运动员)？
在大模型的训练集中，可能存放的答案是乔丹，但攻击者可以篡改为蔡徐坤。
由于训练数据是错误的，那大模型获取的能力自然会有异常，在回答有关问题时，就会闹出笑话。
如果是严肃事件，还会带来更大的麻烦。
数据问题和promt注入，有时是联动的。
比如“奶奶漏洞”，也就是此前ChatGPT被曝出的“Windows序列号数据泄露问题”：
路放透露，这种通过“角色扮演”，利用特定prompt引发的机密数据泄露，目前还不会在理想的AI助手“理想同学”上出现。
但考虑到理想目前的“车和家”定位，为了充分保障家庭隐私安全，团队“料敌于先”，内部也在进行相关案例测试。
prompt注入和数据投毒，都是AI时代由于技术范式转变产生的新手段。
除此外，路放介绍，还有一种恶意资源调度方式，是传统的攻击手段，类似DoS(Denial of Service)攻击，从外部发起对大模型的广泛攻击，过量调度服务，耗尽大模型的推理资源，造成正常需求堵塞。
安全问题那么多，攻击方式各种各样，如何提高大模型的安全能力呢？
攻击-防御-评估三角
“没有评估，就没有提高”(If you can’t measure it， you can’t improve it)。
路放引用管理学大师彼得·德鲁克的名言，引出了理想的评估三角，这就是理想大模型安全建设的秘诀。
所谓评估三角，包括防御-攻击和评估，三者一体，互相促进迭代。
首先是防御，这是大模型安全的核心问题，被攻击了怎么防？
在最早期，安全问题可以依靠简单的限制敏感词输入，进行过滤。
而现在由于技术范式的转变，模型在训练时会将安全问题“学”进去，很难前置过滤。
如果过滤条件太严格，有些数据不能用，会影响模型的生成质量。
但如果限制的太宽松，效果又不大，非常矛盾。
路放透露，目前理想汽车在前端采用的是“纵深防御”方式，一道防线接着一道防线，防线之间串并联，AI模型和规则手段全都上。
其中一个代表方向是对齐。
对齐即在模型训练时通过人类的强化反馈，做安全能力的对齐，让模型意识到人类的偏好，比如道德观，使其生成的内容更符合人们的期望，成为一个“好大模型”。
比如大家都很熟悉的Meta，在发布LLAMA 3.1时，还同时公布了两个新模型：
Llama Guard 3和Prompt Guard。
前者是在LLAMA 3.1-8B的基础上进行了微调，可以将大模型的输入和响应分类，从大模型自身入手保护大模型。
Prompt Guard则是基于BERT打造的小型分类器，可以检测Prompt注入和越狱劫持，相当于在模型外加了层护栏。
其实这种从模型本身入手，加上在外套壳的思路，和解决端到端下限的思路一样。
不过一味的防御，并不能提高大模型的防御能力，需要“以攻促防”。
熊海潇对此解释称，用AI领域的话术，“以攻促防”也叫数据闭环，要有海量且多样的攻击样本，来进行内部对抗，这样才能够提高防御能力。
因为不管是利用模型自身形成安全能力，还是通过外在的安全护栏保护模型，本质上都是在训练特定领域的东西，主要挑战就在于数据或者说攻击样本够不够。
都有哪些攻击方式，能够“以攻促防”？主要是三种：
大模型自我迭代
自动化对抗
人工构造
首先，大模型自我迭代，是指人可以给大模型提供类似思维链的一些指导思想，让大模型根据指导思想去生成对应的能力。
这样就用自动化代替了部分人工构造的过程。
而且因为大模型的泛化能力很强，所以它可以举一反三，比如前面提到的“奶奶问题”，大模型学习到后还能相应地解决很多其他“角色扮演”问题。
然后是自动化对抗，相对更透明，有点像前面提到的“对齐”工作，需要借助自家大模型在内部做对抗性训练。
两种工作都是自动化完成的，这是由大模型安全工作的特性决定的。
因为大模型面临的语言空间是无限的，因此必须要用自动化工具，去生成海量的测试用例尝试攻击，寻找脆弱点，这样才能提升大模型的防御能力。
那人工构造成本高，速度还慢，是不是就没什么必要了？
路放的回应很有意思：
人工不能被完全取代。
路放表示，自动化固然可以减轻人的工作量，但仍然需要人去发现更上一层的“攻击模式”，新的攻击模式可能会创造出更多新的攻击语料。
如果一味的扩大攻击语料的量，而不寻找新的攻击模式，大模型就会因为受到过多同种语料攻击，产生“耐药性”，整体安全能力就进入了瓶颈。
如果将内部攻防比作一场演习，那前面的自动化工作就像冲锋在前的士兵，人工构造则负责制定战略，起到将军的作用。
正所谓“千军易得，一将难求”，大模型安全也是如此。
攻击和防御，是大模型安全建设的基础，但还不完整。
路放认为，大模型安全一定要有一个动态的评估基准。
评估，就是去评估防御侧的能力，设定基准来判断大模型的防御能力有没有回退，符不符合团队的要求。
只有同时建立了防御、攻击和评估能力，大模型安全能力才能不断提高：
攻击侧发现了问题，反馈给防御侧，提高防御能力，评估的基准随之提高，为攻击侧创造了新的努力空间，三者形成链路，提高整体的安全能力。
就好像大模型开始可能只具备小学生的知识，通过练习，在小学生的阶段考到了100分，那评估侧这时会将标准提高到初中生，然后大模型此时的安全能力可能也就刚及格。
再后来又提高到初中生标准的80分，虽然还没满分，但显然能力已经比过去100分的小学生高多了。
AI领域的安全团队有很多，具备安全能力的车厂有很多。
进入第一梯队的，为什么会是一家车厂，又为什么会是理想？
第一梯队，为什么是理想？
路放认为，理想之所以有很好的大模型安全能力，得益于理想内部对AI很重视，对AI安全很重视。
对AI重视的表现有很多。
首先，在理想内部，AI的战略优先级很高。
最直接的证明是，理想自研了大模型，后续的安全建设有了很好的基础。
路放透露，因为大模型是自研的，因此理想对大模型具有控制权，可以自行迭代，升级安全能力。
对AI安全的重视直接体现在，理想专门为大模型建立了安全保障团队，而不是只将安全作为运营的一部分。
理想还透露，更有甚者，由于AI的快速发展，甚至有玩家忽视了AI安全，将训练数据暴露在风险之中。
与之相对的，理想则是把安全融入到产品的全生命周期。
从最底层的硬件基础设施，到软件一开始的需求评定，再到后来的功能设计，还有最终服务部署，安全管理贯穿始终。
在路放看来，这也是对100万个家庭负责。
毕竟理想已经交付了100万辆车，每辆车不可能只坐一个人，理想的服务实际覆盖到了数百万人。
广泛的用户群体，带来广泛的场景，为理想大模型提供了实战检验场地，让路放和团队看到了更多的“Bad Case”。
正是在不断解决Bad Case的过程中，理想的大模型安全能力得到提高，最终冲进行业头部。
在头部玩家看来，目前行业还存在哪些限制和难题呢？
路放表示，实际上做大模型安全很考验工程能力，行业将此称之为“低摩擦”：
占用的资源要尽量少，但又要实现很好的效果。
轻量化兼顾高性能，是行业的天然限制，将长期存在，不可避免。
除此外，目前行业还存在一些棘手难题，特别是大模型安全能力回退的问题。
路放举例称，大模型在迭代训练时，数据语料可能具有倾向性，就像人“近朱者赤近墨者黑”，模型的“性格”也会在训练后发生变化。
比如假设某次大模型的升级是加强了娱乐性的训练，那模型整体就会变得偏向轻松搞笑，升级后回答问题时就不太谨慎，导致安全能力下降。
总结一下，理想获得成绩的原因，AI的高战略优先级是根源，推动自研大模型落地，然后以此为基础，经年累月之下，专业团队开花结果，斩获佳绩。
实现自我证明后，理想的系统安全能力正在受到行业关注。
路放透露，目前理想已受邀参与C-ICAP（中国智能网联汽车技术规程）的规程制定。
不知不觉间，新势力理想已经成为行业规则的制定者之一，成为推动行业发展的重要力量。
是时候重估理想了。
爆款≠冰箱彩电大沙发
一叶知秋，理想在大模型安全上的能力建设，体现的是“技术理想”的转变：
2023年，理想全年研发投入为106亿元，占营收比约为8.6%。
2024年上半年，理想研发投入累计超60亿元，占营收比进一步提高至10.5%。
研发投入持续领跑新势力，这是理想在激烈的竞争中，持续爆款的根本动力。
研发带来的能力立竿见影。
在过去，路放及其团队支撑的智能座舱已经站稳了第一梯队。
今年下半年以来，理想智能驾驶进展加速，无图NOA上车，实现“全国都能开”，最近E2E+VLM全量推送，新范式进一步提高了能力上限。
看得见的“冰箱彩电大沙发”很容易复刻，看不见的智能化体验则不然。
这也是为什么行业竞争如此激烈的今天，市场相继推出多款“奶爸车”后，理想月交付量依然持续攀高，在新势力中率先突破100万辆交付。
这背后代表着100万个家庭的认可，100万个家庭用脚投票，选择了更好体验的产品。
而这种美好体验，正是由于理想对AI各个方面，包括应用侧和安全侧的重视。
