2026年7月28日 AI
提示詞快取失效解析:系統提示詞多一行日期,本機模型就重新預填
拆解本機模型的預填與前綴快取:為什麼系統提示詞多一行日期,就讓 250k context 的工作階段重新預填 20 分鐘,以及提示詞該怎麼排版才能穩定命中快取,並對照 Anthropic 商業 API 的快取規則。
共 1 篇文章。標籤提供比分類更細的主題切片,適合延伸閱讀相關觀點。
拆解本機模型的預填與前綴快取:為什麼系統提示詞多一行日期,就讓 250k context 的工作階段重新預填 20 分鐘,以及提示詞該怎麼排版才能穩定命中快取,並對照 Anthropic 商業 API 的快取規則。