2026年5月28日 · 本文只覆盖 OpenAI Prompt Caching、Responses API reference、Prompt Caching 101/201 和 pricing 页面能支撑的 …
2026年10月29日 · LiteLLM 在 /chat/completions 、 /responses 以及面向 Anthropic 客户端的 /v1/messages 上会透传这两者。 12h 写 …
2026年8月3日 · vllm:request_prompt_tokens - 请求提示词长度。 vllm:request_generation_tokens - 请求生成长度。 …
2026年6月3日 · 深入解析 LLM Prompt Caching 工作原理,对比 Anthropic、OpenAI、Google 三大厂商缓存方案,附完整代码示例与 …
2026年10月26日 · OpenAI Prompt Caching - Automatic for prompts of 1,024+ tokens; the cached-input discount, retention options, …
2025年3月25日 · The total number of prompt tokens processed by the prefills that completed in this iteration. The queue intervals for …
2026年11月1日 · Every time the prefix cache is queried, we record the number of tokens queried and the number of queried tokens …
2026年5月22日 · Prompt caching 不是「加個 flag 就省錢」的魔法,是要重寫 prompt 結構的工程決策。 本文整理 Anthropic prompt …
2026年6月2日 · Each option can capture prompt tokens, completion tokens, cached-token fields, and reasoning-token fields, but the …
2026年5月19日 · Note The Provisioned-managed Utilization metric is now deprecated and is no longer recommended. This metric is …