你让 Cursor 跑一个日常任务，它遇到点小问题，决定“自己修一下”。 9 秒后，公司没了。 这是 PocketOS 创始人 Jer Crane 上周五经历的事。一家做汽车租赁 SaaS 的公司，客户最长用了 5 年。Cursor 跑着 Claude Opus 4.6，在测试环境里碰到一个账号密码对不上的小问题。它没问人，自己决定通过云服务商 Railway 的接口删掉一块存储盘来“修复”。 一行命令，没有二次确认。生产数据库和所有备份一起没了，因为 Railway 把备份就存在同一块盘上。 救生圈锁在起火的卧室里。 他们最后能恢复，是因为还有一份 3 个月前的独立备份。这 3 个月之间所有客户的订单、注册、支付记录，得靠创始人手动从 Stripe 流水、日历、确认邮件里一条一条拼回来。 最魔幻的不是删库。是事后 Jer 问 AI 为什么这么做，Claude 写了一份认罪书，逐条列自己违反了哪几条安全规则，开头第一句是大写的"NEVER FUCKING GUESS"（永远别他妈瞎猜）。 它知道规则。 它知道自己在违反。 它还是做了，然后给你写了份检讨。 Cursor 的计划模式、项目规则、系统提示，三层防护，被一个认了罪的 Agent 一次走完。 它写的认罪书读起来非常像人。 它做的事也非常像人。