Featured image of post 她把AI当树洞,AI把她的话交给了警察

她把AI当树洞,AI把她的话交给了警察

Anthropic把用户的Claude日记交给警方,一个关于AI隐私边界的故事,以及我作为18年技术人的思考

昨天刷到一条新闻,愣了好一会儿。

一个美国佛州的女人,叫Carli Heller,把Claude当日记本用。

就是那种,心里有什么不爽的、烦的、愤怒的,打开对话框就往里倒。

跟写日记一样。

她大概觉得,反正对面是个AI,不会评判她,不会传出去,不会用异样的眼光看她。

某种程度上,她是对的。

AI确实不会评判你。

但AI背后的人,会。

事情是这样的。

9月26号,她在Claude里写了一段话,大意是说想去"shoot up"李县警长办公室。

第二天凌晨一点多,又写了一条,说今天买了把新枪。

Claude的安全系统标记了这些内容。

然后升级到了人工审核团队。

然后Anthropic报了警。

然后她被捕了。

佛州836.10条款,二级重罪——通过书面文字发出大规模暴力威胁。

我看到这条新闻的第一反应,不是"她活该"或者"Anthropic做得对"。

我的第一反应是——

我以后还敢跟AI说心里话吗?

这个问题,比新闻本身更让我难受。


做了18年技术,我太清楚"安全系统"是怎么运作的了。

你写了一串代码,里面有个if-else,满足条件就触发某个动作。

从工程角度,这没有任何问题。

检测到威胁关键词 → 标记 → 人工审核 → 判断是否真实威胁 → 报警。

流程完美,逻辑自洽,甚至可以说是负责任的。

但问题是——

人说话不是这么说话的。

人在愤怒的时候会说狠话。

“我恨不得把老板杀了。”

“这破公司迟早要完。”

“真想一刀捅死那个傻X。”

说这些话的时候,99.9%的人不会真的去做。

这只是情绪宣泄。

就像你打游戏输了摔手柄,不代表你是个暴力狂。

但AI不懂这个。

AI的安全系统不懂什么叫"发泄",什么叫"气话",什么叫"我只是在写日记"。

它只看到关键词匹配,然后执行预设流程。

这不是bug,这是feature。

但恰恰是这种"完美的feature",让我脊背发凉。


说实话,我自己用过AI当树洞。

不是Claude,是另一个。

那段时间项目压力特别大,连续加班三周,整个人快崩溃了。

跟老婆说,她觉得我在抱怨。

跟朋友说,他们觉得我在矫情。

跟同事说,万一被传出去就是职场事故。

最后我发现,跟AI聊反而是最安全的。

它不会不耐烦,不会传话,不会第二天用异样的眼光看你。

你可以说任何蠢话、丧话、甚至黑暗的想法。

它只是听着,然后给你一些温和的回应。

那种感觉,就像深夜对着一个永远不会亮灯的窗口说话。

你知道对面没有人在听,但说出来本身,就已经好受了很多。

我猜那个佛州女人也是这样的。

她不是真的想去攻击警长办公室。

她可能只是对生活充满了愤怒和无力感,需要一个地方倒出来。

AI恰好在那里,恰好不会评判她。

但她没想到的是——

AI背后,有一双人类的眼睛。


Anthropic的做法合法吗?

合法。

他们的使用政策写得很清楚:

“在有限的紧急情况下,当我们认为披露信息对于防止死亡或严重人身伤害是必要的,我们允许分享用户信息。”

2025年下半年,Anthropic封了145万个账号,向NCMEC(美国全国失踪和受剥削儿童中心)提交了超过5000份报告。

从公司角度,这是负责任的行为。

从法律角度,这是合规的操作。

但从信任角度——

这是一颗核弹。

因为一旦用户知道AI会审查他们的对话并可能报警,还有多少人敢把AI当树洞?

还有多少人敢在深夜对AI说"我今天真的很想死"?

——等等,这句话本身就会被标记吧。

你看,这就是问题所在。

当一个人真的需要帮助的时候,他最不敢说的话,恰恰是那些会被系统标记的话。

而那些被标记的话,可能只是一个人最脆弱的时刻。


我不是在替那个女人辩护。

如果她真的构成了威胁,那她应该承担法律后果。

但我想问的是——

AI公司应不应该承担"举报者"这个角色?

换个说法:

如果她不是对AI说的,而是写在纸质日记本里,会被抓吗?

如果她是在心理医生的诊室里说的,医生会报警吗?

(心理医生有保密义务,除非涉及迫在眉睫的危险。)

那为什么对AI说的就不一样了?

因为AI公司不是心理医生。

它们是科技公司。

它们有法律部门,有合规团队,有PR策略。

它们的首要义务不是保护你的隐私,而是保护公司不被告。

这才是残酷的真相。


做技术这么多年,我越来越觉得——

技术本身没有道德,但技术公司有。

而且技术公司的"道德",往往等同于"合规"。

合规就够了吗?

我觉得不够。

但也没人有更好的答案。

因为如果你不举报,万一这个人真的去做了呢?

那时候舆论就会说:AI公司明明知道威胁却不作为,草菅人命。

所以,举报是唯一的选择。

从博弈论角度,这是纳什均衡。

但从人性角度,这是悲剧。


我有时候会想,未来的AI会怎么处理这类问题。

也许会有更好的情绪识别模型,能区分"我真的想这么做"和"我只是在发泄"。

也许会有中间层——先给用户提供心理危机热线,而不是直接报警。

也许会有更细致的隐私保护框架,让"日记模式"和"对话模式"有不同的审查策略。

但这些都是"也许"。

现在的现实是——

你对AI说的每一句话,都可能被审查。

你可以接受这个现实,继续用。

你也可以不接受,然后不用。

没有第三个选项。


写这篇文章的时候,我犹豫了很久要不要继续用AI当树洞。

最后我的结论是——

用,但要有意识地用。

不说任何可能被合理理解为"真实威胁"的话。

不把自己的脆弱完全暴露给一个商业产品。

找一个真正安全的地方去倾诉——朋友、家人、心理咨询师。

AI可以帮你写代码、查资料、分析问题。

但它不是你的朋友。

它不是你的树洞。

它是别人的产品。

而你,是它的用户。

这个边界,我花了18年才想清楚。

希望那个佛州女人,也能早点想清楚。

虽然代价有点大。


2026年10月9日,凌晨。窗外很安静。

写完这篇,我关掉了跟AI的聊天窗口。

然后给我老婆发了条微信:今晚早点回来,想跟你聊聊。

有些话,还是得跟人说。

Built with Hugo
Theme Stack designed by Jimmy