Ztab

搜搜看

搜索关键词: 东部战区发布视频《受不了了》
找到 10 条相关结果

Responses API prompt caching 没命中:cached_tokens 和 ...

boluoblog.com

2026年5月28日 · 本文只覆盖 OpenAI Prompt Caching、Responses API reference、Prompt Caching 101/201 和 pricing 页面能支撑的 …

提示词缓存 | liteLLM 网关

docs.litellm.com.cn

2026年10月29日 · LiteLLM 在 /chat/completions 、 /responses 以及面向 Anthropic 客户端的 /v1/messages 上会透传这两者。 12h 写 …

指标 - vLLM - vLLM 文档

docs.vllm.com.cn

2026年8月3日 · vllm:request_prompt_tokens - 请求提示词长度。 vllm:request_generation_tokens - 请求生成长度。 …

LLM Prompt Caching 实战:90% 成本节省的上下文缓存 ...

jsjson.com

2026年6月3日 · 深入解析 LLM Prompt Caching 工作原理,对比 Anthropic、OpenAI、Google 三大厂商缓存方案,附完整代码示例与 …

Awesome LLM Token Optimization - GitHub

github.com

2026年10月26日 · OpenAI Prompt Caching - Automatic for prompts of 1,024+ tokens; the cached-input discount, retention options, …

Metrics — vLLM

docs.vllm.ai

2025年3月25日 · The total number of prompt tokens processed by the prefills that completed in this iteration. The queue intervals for …

Metrics - vLLM

docs.vllm.ai

2026年11月1日 · Every time the prefix cache is queried, we record the number of tokens queried and the number of queried tokens …

Anthropic Prompt Caching 深度解析:把 10 萬 token 成本砍 ...

blog.linpolly.com

2026年5月22日 · Prompt caching 不是「加個 flag 就省錢」的魔法,是要重寫 prompt 結構的工程決策。 本文整理 Anthropic prompt …

How to track LLM token usage (2026): Prompt, completion, …

braintrust.dev

2026年6月2日 · Each option can capture prompt tokens, completion tokens, cached-token fields, and reasoning-token fields, but the …

Monitoring data reference for Azure OpenAI - Microsoft Foundry

learn.microsoft.com

2026年5月19日 · Note The Provisioned-managed Utilization metric is now deprecated and is no longer recommended. This metric is …

热门话题推荐

最近访问 (300)
原创
07:30
原创
07:30
原创
07:30
原创
07:30
原创
07:30
原创
07:30
原创
07:30