为什么大家会觉得大模型的不确定性很神秘呢？什么浮点数误差，模型的计算，等等。 真相其实很低级，就是 transformer 在调用 gpu 的时候，塞进去了个随机数。 想要重复确定再现很容易，你把 python 随机数种子锁死，结果就是可复现的了。 不过这是前年我的测试，现在的架构不确定。