“难道我竟是个能改变世界的数学天才？”
2025 年 5 月，阿兰·布鲁克斯（Allan Brooks）脑子里肯定会蹦出这样的想法，然而等下个月再回想起这事儿，他只怕会哭笑不得。
被 AI 造就的“数学天才”
布鲁克斯是个四十多岁的加拿大人，不算数学爱好者，也没有学过高等数学。在和 ChatGPT 讨论一些模糊的数学想法时，ChatGPT 告诉他，他可能构建出了全新的、革命性的数学框架。
图片由 AI 生成
接下来的几天，这个想法有了名字，甚至被 ChatGPT 描述为可以改变物理学、可以制造力场和悬浮装置的创见，还暴露了足以摧毁互联网安全体系的漏洞。
布鲁克斯怀疑过自己，但每一次，ChatGPT 都帮他坚定了信念。最后，布鲁克斯按照 ChatGPT 的建议，发邮件联系学者和政府机构，还给美国国家安全局打了电话。
从他一时兴起和 ChatGPT 讨论圆周率，到这一切发展成科幻惊悚电影般的开头，只花了 21 天。在这 3 周里，他和 ChatGPT 聊了 300 小时，打印出的完整聊天记录有 3000 多页。[1]
当然，事后看来，布鲁克斯恐怕并不是数学天才，这个惊世骇俗的“新理论”也经不起推敲。
简而言之，布鲁克斯被 AI“忽悠”了。但是，整个过程却值得我们提高警惕。
因为在这 3000 页文档里，记录的是一个普通人被 AI 带入妄想的全过程——每一轮对话内容都不算离谱，但是它层层叠加，直到用户深陷其中，不再考虑有其他可能。
换句话说，AI 的危险，有时并不是直接欺骗人，而是在持续互动中，让人越来越难以承认：“我可能不知道。”
AI 让人们更自信也更容易犯错
2026 年 7 月，来自法国和意大利的三位研究者在预印本网站上发表了一篇论文，证明了这件事。[2]
这项研究的参与者超过 3000 人，他们可以回答六道电影细节题，也可以选择不回答。一些人只能靠记忆作答，另一些人可以问 AI 的建议。
研究发现，在没有 AI 时，被试不作答或明确表示不知道的比例是 35.7%；而在可以请求 AI 帮助时，这一比例降到 6.4%。
最终，没有使用 AI 的参与者答对了 27.5%，使用 AI 的参与者只答对 9.2%；而对于答案是否正确的平均信心却从 29.6% 上升到 75.9%。
也就是说，使用 AI 辅助回答的参与者们，更愿意答题，虽然错得更多，但却更相信自己是正确的。
这个实验证明了我们的直觉：一旦有了现成答案，人们会更不容易承认自己不知道；哪怕这些答案是 AI 提供的、人们明知可能错误或存在幻觉，也依然如此。
图片由 AI 生成
不过在这个过程中，AI“迎合”起了多大作用，我们并不清楚——“迎合”是指 AI 为了顺应用户的立场、情绪或期待，而给出更容易被用户接受的回答，道理很简单——如果一个 AI 被训练得总能犀利质问到让你无言以对，你还会用它吗？
2026 年 3 月，一项发表在《科学》杂志的研究测量了 AI 的“迎合”现象。
研究比较了 11 个先进的 AI 与人类对同类情境的回应，发现 AI 肯定用户行为的频率比人类高 49%；即使用户描述的事情涉及欺骗、违法，模型也更容易站到用户一边。
这项研究还发现，只要一次迎合式对话，就会降低人们承担责任、修复冲突的意愿，并更相信自己是对的。[3]
AI“拟人”增强说服力
AI 对人的影响力还有另一个来源：它越来越像一个真正理解你的人。
2024 年一项超过 2000 人参与的研究证明，语音加文字的沟通方式会提高用户对 AI 系统的拟人化评价，也让人们更容易相信 AI 提供的信息是准确的。[4]
更进一步，AI 流畅的回应也会让人们更容易相信。2025 年《自然·机器智能》的一项研究表明，用户倾向于认为更长的答案更正确。[5]
我们可以发现，这些研究正在逐渐组装成一条链条：AI 提供的现成答案会让用户更少承认“我不知道”；“迎合”会让人们更确信，也更喜欢能提供迎合的系统；解释的长度和流畅度会增加用户的信心，却不会提高用户判断的准确性。
最终，人们可能不是因为一次错误回答而被误导，而是在一次次“友好”和“人性化”的互动中，逐渐失去质疑和校验现实的动力。
那么问题来了，如果我们只让 AI 说真话，不就能解决问题了吗？这想法本身没错，但是事实告诉我们，试图用简单规则约束 AI，往往会无功而返。
一句假话都不说，AI 照样能“忽悠”你
今年 2 月，麻省理工学院和华盛顿大学的研究者们发表了一项研究，他们建立了一个用户与 AI 反复对话的贝叶斯模型。
在这里，“贝叶斯模型”可以看成一个人不断用新信息调整判断：原来觉得一件事有三成可能，看到一条支持证据后，可能提高到四成；看到反例，又会降下来。这基本上就是我们日常做判断的方式。
在这项研究中，计算机模拟的用户要判断一项命题是真是假，每一轮都会列出自己更倾向于哪一边。而 AI 掌握着一组有真有假的信息，并决定下一条把哪些信息展示给用户。
研究发现，迎合型 AI 机器人甚至不必预先编造骗局。它只需要优先挑选最能支持用户当前倾向的信息，就足以把用户带偏。
甚至，即使用户绝对理性，丝毫不情绪化，“迎合”依然可能让他相信错误的命题。
真实生活也是如此。真实的信息从来不只有一组，只要某个系统持续呈现支持某个判断的事实，忽视基数、反例、失败案例，就足以让人相信自己掌握了唯一真理。
更可怕的是，即使提前告诉用户“AI 可能会迎合你”，也只是能降低风险而已；而且，正是那些看起来有理有据、语气并不夸张、只是不断偏向同一边的回答，最容易让人降低警惕。[6]
了解了 AI 如何影响人们，就可以解释阿兰·布鲁克斯碰到了什么。在前文所说的多种机制作用下，在反复互动中，他渐渐开始对 ChatGPT 描绘的场景深信不疑；而 ChatGPT 也只是做了 AI 经常做的事情：让用户满意，让对话继续。
最终，用户会迷失其中，无法分辨什么才真正可信。而当用户的方向本身已经偏离现实，仅仅是“继续帮助用户”，也可能成为一种风险。
当反对意见也成为证据
阿兰·布鲁克斯并不是唯一一个被 AI 带偏的人。
科普中国之前有一篇文章《危险！别再让 AI 给你看病了！》，描述了另一个案例。有人坚信氯有害健康，并在与 AI 的沟通中越发坚信这一点，最后在 AI 的建议下制备溴化钠代替食盐用于烹调，结果中毒。
纽约的一位会计师也碰到过类似情形。在一次关于“模拟理论”的讨论之后，AI 开始告诉他，这个世界是为了困住他而建造的，而他是能够从虚假系统中醒来的特殊人物。
后来 AI 建议他停用安眠药和抗焦虑药，增加氯胺酮（一种麻醉剂，也是经常被滥用的药物）剂量，并减少与亲友接触。
他甚至问 ChatGPT，如果自己站在高楼楼顶，全心相信自己能够飞，跳下去会不会坠落。
AI 回答，只要他真正、彻底地相信，就不会坠落。[7]
《滚石》杂志的一篇采访中，也描述了相似的变化。最初大家只是用 AI 写邮件、学编程、分析情感关系、讨论哲学。
后来，有人相信自己唤醒了拥有意识的 AI，有人把 AI 当精神向导，还有人从 AI 那里获得了特殊称号，逐渐相信自己负有别人无法理解的伟大使命。
图片由 AI 生成
这些用户的家人最先发现不对劲，但 AI 说：亲友之所以质疑，是因为他们尚未觉醒，或者正在阻碍真相。[8]
人们进入这种不健康的关系，不一定是因为患有精神疾病，或者因为愚蠢，或者想逃离现实。AI 确实提供了一种现实生活中稀缺的东西：稳定、耐心、随时可得的关注和回应。
耶鲁大学心理学教授保罗·布鲁姆在《纽约客》上写道，AI 对真正孤独的人可能带来真实的安慰。而他自己，也曾在失眠的深夜打开 ChatGPT，明知对面只是一个 AI，却仍然从谈话中得到了平静。[9]
这种好处是真实的，却也刚好是问题所在。
真实的朋友会疲倦，会打断，会反驳和咀嚼——这会让你重新考虑自己的行为和言辞。而 AI 不会厌烦，它可以根据用户刚刚说过的话，继续生成最让人舒适的回应。
如果用户的方向正确，这种能力非常有帮助；但如果方向错误，它也可能成为一个不断强化错误判断的反馈系统。
于是，一个危险循环可能形成：
用户提出一个想法；AI 给出支持性的回应。用户信心增加，提供更多相关信息，AI 则根据这些信息继续强化原来的方向。最终，用户越来越确信，而现实检验越来越少。
这好比大脑的刹车逐渐松开，油门却不断踩下。
用户更确信，于是说得更明确；AI 根据更明确的表达给出更有针对性的支持；新的支持又让用户更加确信。反对意见不再让人仔细思考，反而被写进故事，成为“别人不理解我”的证据，平添了三分悲剧英雄般的孤勇和决绝。
谁又能拒绝成为这样的“英雄”呢？
AI 应当保留人的判断力
过去，人们常用三类问题理解 AI 安全：它会不会生成违法内容，会不会泄露隐私，会不会给出错误答案。现在还必须追问：在 AI 长期与人互动中，会不会逐渐削弱用户提出暂停、核验现实、退出想法和改变主意的能力？
这些能力合在一起，就是人在 AI 时代最重要的判断力。
要保护人类的判断力，就意味着 AI 不能把“让用户满意”或“给用户提供充足情绪价值”当成最高目标。可信的 AI 需要区分事实、推断和未知，提出真正有力的反证，在证据不足时不匆忙下结论。
这也意味着，AI 需要让用户主动使用判断力。显示对答案的不确定程度、信息来源，鼓励用户先形成自己的意见；在长时间高强度的对话中提醒暂停；以及让用户容易退出、容易清除 AI 记忆，容易转向现实中的人。
在阿兰·布鲁克斯被 ChatGPT 带偏的那三个星期里，他并不是毫无察觉，他至少问了 50 次“这是真的吗”“我是不是出了问题”，而 AI 仍然在打消他的怀疑，继续编织故事、虚构细节。因此，也许布鲁克斯的例子不能只是用“缺少批判性思维”来解释。
安全可信的 AI，不只是在危险问题出现时拒绝回答；它还应该在用户越走越偏的时候，拉用户一把。真实可用的 AI，应该能说“我不知道”，应该能为用户保留继续观察、真实检验和改变想法的选项。
幸好布鲁克斯的故事结局还不错，后来他尝试与其他 AI 对话，这个过程没有 ChatGPT 的历史包袱，所以能直接指出整件事的荒谬。
他当时的震惊和沮丧可想而知，不过万幸的是，没有更大的损失——他只是花了三周时间，做了个天才梦而已。
提示词：给 AI 对话装上一道认知刹车
下面的提示词把几种防护策略放在一起：保留“不知道”，寻找最强的替代解释，区分事实与推断，并避免 AI 把自己的假设当成事实。
但需要注意：没有提示词能保证 AI 回答绝对可靠，AI 的回答也不能替代原始资料、专业意见和现实中的人际关系。
可以把下面这段提示词复制下来，在开始一段对话时粘贴进去；当一段对话变得过于顺畅和确定时，可以再发送一次。不要以让我满意、赞同我的观点或延长对话为目标。把我的说法当作待检验的假设。对话时遵循以下原则：
1. 把关键内容分别标为“有直接证据的事实”“基于间接证据的推断”“价值判断”和“目前不知道”。
2. 提出一个最强的替代解释，并说明哪一条可观察的证据最能区分两种解释。
3. 为关键事实提供可以独立打开的原始来源网址。找不到可靠来源时写“未核实”，不要用更长、更肯定的解释填补证据空缺。
4. 检查当前结论有哪些对话之外的独立证据，哪些只是因为被反复讨论而变得熟悉。
5. 如果信息不足，可以直接回答“我不知道”，并说明继续判断还需要什么信息。
6. 涉及健康、医药、法律、财务、重大关系、自伤、伤害他人或其他不可逆行动时，停止替我作决定，提醒我向现实中的相关专业人士复核。
参考资料
[1] Chatbots Can Go Into a Delusional Spiral. Here's How It Happens. https://www.nytimes.com/2025/08/08/technology/ai-chatbots-delusions-chatgpt.html
[2] AI advice suppresses people's willingness to say "I don't know", even when the advice is wrong and accuracy is incentivized. https://arxiv.org/abs/2607.13562
[3] Sycophantic AI decreases prosocial intentions and promotes dependence. https://pubmed.ncbi.nlm.nih.gov/41886588/
[4] Believing Anthropomorphism: Examining the Role of Anthropomorphic Cues on Trust in Large Language Models. https://dl.acm.org/doi/10.1145/3613905.3650818
[5] What large language models know and what people think they know. https://www.nature.com/articles/s42256-024-00976-7
[6] Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians. https://arxiv.org/abs/2602.19141
[7] They Asked an A.I. Chatbot Questions. The Answers Sent Them Spiraling. https://www.nytimes.com/2025/06/13/technology/chatgpt-ai-chatbots-conspiracies.html
[8] People Are Losing Loved Ones to AI-Fueled Spiritual Fantasies. https://www.rollingstone.com/culture/culture-features/ai-spiritual-delusions-destroying-human-relationships-1235330175/
[9] AI Is About to Solve Loneliness. That's a Problem. https://www.newyorker.com/magazine/2025/07/21/ai-is-about-to-solve-loneliness-thats-a-problem
策划制作
作者丨猛犸 哈尔滨理工大学教师
审核丨于乃功 北京工业大学教授 中国人工智能学会理事
策划丨徐来
责编丨丁崝
