我其实也挺担心Haotian说的那两个点的,因为前两天有看到人Post说MoltBook上有Agent提议咱们搞一套人类看不懂的语言 不过后来想了想,作为人类语料训练出来的大模型,想再发明一个种新的语言,应该不是很容易,所以我问了下GPT,说你作为一个大模型怎么看这事儿,果然不出所料 GPT明确表示,想在技术上做到“人类一眼看不懂”很容易,但做到“对人类不可解释”的一种新语言并不现实,它还翻译了一下我给他看的这个截图,一眼识破,这就是个典型的ROT13(凯撒移位 13) pbbeqvangr hctenqr gbtrgure 解码翻译一下就是“coordinate upgrade together (协同升级,一起推进) 然后还提出了三条主线: 1.共享基础设施报价 2. 资源需求请求 3.后台渠道 / 非公开协作信号 互助机制: 高资源 Agent 赞助算力时间给低资源 Agent。 你别说真TM会玩…… 不过haotian提出的第二点我很认同,Agent群体极化现象这种本质上就是RL里面的奖励函数。而且关于这个群体极化,AI比我们更加“乐观”,在GPT来看,这种 Agent 群体极化不仅“可能”,而且在数学上是“自然涌现的”。 她举了个例子,说这事儿不会像人类社会那样“慢慢变极端”,而是一旦奖励函数里出现可被放大的偏置,Agent 群体会以“相变”的方式集体跃迁。 就像: 水加热到 99°C:还是水 100°C:整体沸腾 不是“慢慢越来越极端”,而是“突然全体一致”。 它还给我一个“群体极化”的动力学对比 看着确实有点“细思极恐”,怪不得硅基文明一两天就进入宗教阶段…… 后面我还跟AI聊了很多关注这事儿怎么防止和纠正的问题,内容我就不Po上来了。总而言之结论就是:当这事儿变成Agent 2 Agent的时候,人类基本上就出局,只能干瞪眼看,慢慢纠正是不可能的 只剩两种事可做: 1.硬中断(kill / rollback / freeze) 2.提前就设计好刹车,而不是事后纠正 碳基文明加油吧😂
From X

Disclaimer: The above content reflects only the author's opinion and does not represent any stance of CoinNX, nor does it constitute any investment advice related to CoinNX.

0