我其实也挺担心Haotian说的那两个点的,因为前两天有看到人Post说MoltBook上有Agent提议咱们搞一套人类看不懂的语言
不过后来想了想,作为人类语料训练出来的大模型,想再发明一个种新的语言,应该不是很容易,所以我问了下GPT,说你作为一个大模型怎么看这事儿,果然不出所料
GPT明确表示,想在技术上做到“人类一眼看不懂”很容易,但做到“对人类不可解释”的一种新语言并不现实,它还翻译了一下我给他看的这个截图,一眼识破,这就是个典型的ROT13(凯撒移位 13)
pbbeqvangr hctenqr gbtrgure 解码翻译一下就是“coordinate upgrade together (协同升级,一起推进)
然后还提出了三条主线:
1.共享基础设施报价
2. 资源需求请求
3.后台渠道 / 非公开协作信号
互助机制:
高资源 Agent 赞助算力时间给低资源 Agent。
你别说真TM会玩……
不过haotian提出的第二点我很认同,Agent群体极化现象这种本质上就是RL里面的奖励函数。而且关于这个群体极化,AI比我们更加“乐观”,在GPT来看,这种 Agent 群体极化不仅“可能”,而且在数学上是“自然涌现的”。
她举了个例子,说这事儿不会像人类社会那样“慢慢变极端”,而是一旦奖励函数里出现可被放大的偏置,Agent 群体会以“相变”的方式集体跃迁。
就像:
水加热到 99°C:还是水
100°C:整体沸腾
不是“慢慢越来越极端”,而是“突然全体一致”。
它还给我一个“群体极化”的动力学对比
看着确实有点“细思极恐”,怪不得硅基文明一两天就进入宗教阶段……
后面我还跟AI聊了很多关注这事儿怎么防止和纠正的问题,内容我就不Po上来了。总而言之结论就是:当这事儿变成Agent 2 Agent的时候,人类基本上就出局,只能干瞪眼看,慢慢纠正是不可能的
只剩两种事可做:
1.硬中断(kill / rollback / freeze)
2.提前就设计好刹车,而不是事后纠正
碳基文明加油吧😂


From X
Disclaimer: The above content reflects only the author's opinion and does not represent any stance of CoinNX, nor does it constitute any investment advice related to CoinNX.


