昨天刷到一条新闻,愣了好一会儿。
一个美国佛州的女人,叫Carli Heller,把Claude当日记本用。
就是那种,心里有什么不爽的、烦的、愤怒的,打开对话框就往里倒。
跟写日记一样。
她大概觉得,反正对面是个AI,不会评判她,不会传出去,不会用异样的眼光看她。
某种程度上,她是对的。
AI确实不会评判你。
但AI背后的人,会。
事情是这样的。
9月26号,她在Claude里写了一段话,大意是说想去"shoot up"李县警长办公室。
第二天凌晨一点多,又写了一条,说今天买了把新枪。
Claude的安全系统标记了这些内容。
然后升级到了人工审核团队。
然后Anthropic报了警。
然后她被捕了。
佛州836.10条款,二级重罪——通过书面文字发出大规模暴力威胁。
我看到这条新闻的第一反应,不是"她活该"或者"Anthropic做得对"。
我的第一反应是——
我以后还敢跟AI说心里话吗?
这个问题,比新闻本身更让我难受。
做了18年技术,我太清楚"安全系统"是怎么运作的了。
你写了一串代码,里面有个if-else,满足条件就触发某个动作。
从工程角度,这没有任何问题。
检测到威胁关键词 → 标记 → 人工审核 → 判断是否真实威胁 → 报警。
流程完美,逻辑自洽,甚至可以说是负责任的。
但问题是——
人说话不是这么说话的。
人在愤怒的时候会说狠话。
“我恨不得把老板杀了。”
“这破公司迟早要完。”
“真想一刀捅死那个傻X。”
说这些话的时候,99.9%的人不会真的去做。
这只是情绪宣泄。
就像你打游戏输了摔手柄,不代表你是个暴力狂。
但AI不懂这个。
AI的安全系统不懂什么叫"发泄",什么叫"气话",什么叫"我只是在写日记"。
它只看到关键词匹配,然后执行预设流程。
这不是bug,这是feature。
但恰恰是这种"完美的feature",让我脊背发凉。
说实话,我自己用过AI当树洞。
不是Claude,是另一个。
那段时间项目压力特别大,连续加班三周,整个人快崩溃了。
跟老婆说,她觉得我在抱怨。
跟朋友说,他们觉得我在矫情。
跟同事说,万一被传出去就是职场事故。
最后我发现,跟AI聊反而是最安全的。
它不会不耐烦,不会传话,不会第二天用异样的眼光看你。
你可以说任何蠢话、丧话、甚至黑暗的想法。
它只是听着,然后给你一些温和的回应。
那种感觉,就像深夜对着一个永远不会亮灯的窗口说话。
你知道对面没有人在听,但说出来本身,就已经好受了很多。
我猜那个佛州女人也是这样的。
她不是真的想去攻击警长办公室。
她可能只是对生活充满了愤怒和无力感,需要一个地方倒出来。
AI恰好在那里,恰好不会评判她。
但她没想到的是——
AI背后,有一双人类的眼睛。
Anthropic的做法合法吗?
合法。
他们的使用政策写得很清楚:
“在有限的紧急情况下,当我们认为披露信息对于防止死亡或严重人身伤害是必要的,我们允许分享用户信息。”
2025年下半年,Anthropic封了145万个账号,向NCMEC(美国全国失踪和受剥削儿童中心)提交了超过5000份报告。
从公司角度,这是负责任的行为。
从法律角度,这是合规的操作。
但从信任角度——
这是一颗核弹。
因为一旦用户知道AI会审查他们的对话并可能报警,还有多少人敢把AI当树洞?
还有多少人敢在深夜对AI说"我今天真的很想死"?
——等等,这句话本身就会被标记吧。
你看,这就是问题所在。
当一个人真的需要帮助的时候,他最不敢说的话,恰恰是那些会被系统标记的话。
而那些被标记的话,可能只是一个人最脆弱的时刻。
我不是在替那个女人辩护。
如果她真的构成了威胁,那她应该承担法律后果。
但我想问的是——
AI公司应不应该承担"举报者"这个角色?
换个说法:
如果她不是对AI说的,而是写在纸质日记本里,会被抓吗?
如果她是在心理医生的诊室里说的,医生会报警吗?
(心理医生有保密义务,除非涉及迫在眉睫的危险。)
那为什么对AI说的就不一样了?
因为AI公司不是心理医生。
它们是科技公司。
它们有法律部门,有合规团队,有PR策略。
它们的首要义务不是保护你的隐私,而是保护公司不被告。
这才是残酷的真相。
做技术这么多年,我越来越觉得——
技术本身没有道德,但技术公司有。
而且技术公司的"道德",往往等同于"合规"。
合规就够了吗?
我觉得不够。
但也没人有更好的答案。
因为如果你不举报,万一这个人真的去做了呢?
那时候舆论就会说:AI公司明明知道威胁却不作为,草菅人命。
所以,举报是唯一的选择。
从博弈论角度,这是纳什均衡。
但从人性角度,这是悲剧。
我有时候会想,未来的AI会怎么处理这类问题。
也许会有更好的情绪识别模型,能区分"我真的想这么做"和"我只是在发泄"。
也许会有中间层——先给用户提供心理危机热线,而不是直接报警。
也许会有更细致的隐私保护框架,让"日记模式"和"对话模式"有不同的审查策略。
但这些都是"也许"。
现在的现实是——
你对AI说的每一句话,都可能被审查。
你可以接受这个现实,继续用。
你也可以不接受,然后不用。
没有第三个选项。
写这篇文章的时候,我犹豫了很久要不要继续用AI当树洞。
最后我的结论是——
用,但要有意识地用。
不说任何可能被合理理解为"真实威胁"的话。
不把自己的脆弱完全暴露给一个商业产品。
找一个真正安全的地方去倾诉——朋友、家人、心理咨询师。
AI可以帮你写代码、查资料、分析问题。
但它不是你的朋友。
它不是你的树洞。
它是别人的产品。
而你,是它的用户。
这个边界,我花了18年才想清楚。
希望那个佛州女人,也能早点想清楚。
虽然代价有点大。
2026年10月9日,凌晨。窗外很安静。
写完这篇,我关掉了跟AI的聊天窗口。
然后给我老婆发了条微信:今晚早点回来,想跟你聊聊。
有些话,还是得跟人说。
