科普一下什么是缓存命中 / 读缓存?
考虑到 AI 按照 Token 数计费,如果你要和 AI 多轮对话,倘若每次都重复输入重复内容(例如一个长文档或者一个角色设定),这在账单上很浪费。
因此 AI 开发者设计了类似于电脑缓存一类的东西,持续一段时间(例如 5 分钟、10 分钟)。
例如你 5 分钟内追问,系统判断这就是缓存里的已存内容,那么 AI 就不需要再动用额外算力,这就是所谓的“缓存命中”。
一般大模型(or 中转站),如果命中了缓存,就会非常便宜,例如 D 指导,命中后只输入需要 1/10 的价格。
有点像你考语文,阅读理解题,你只精读一次,不需要每道题都再全读一次,最后考完试你光速就忘了🤣

From X
Disclaimer: The above content reflects only the author's opinion and does not represent any stance of CoinNX, nor does it constitute any investment advice related to CoinNX.

