Inworld Inference 发布
Inworld 推出面向消费级 AI 应用的推理 API Inference，对 Gemma 4 26B 等开放模型进行优化。公司称首个 token 在 p95 上比 OpenRouter 中位数提供商最高快 7.8 倍，输入价格最高低 48%。
文章要点
Inworld 于2026年10月14日发布 Inworld Inference，这是面向陪伴、导师、教练等消费级 AI 应用的 LLM 推理 API，向所有开发者开放。它针对特定需求：对话中快速响应、长提示短输出、每轮多次调用、低单用户成本和高可靠性。
它提供开放模型（Gemma 4、GLM、DeepSeek、MiMo）的优化构建，由草稿模型提出 token 并由完整模型验证的实时解码，感知 KV 缓存的路由，四个服务层级（Flex、Default、Priority、Fast），自动故障转移到备用模型，兼容 OpenAI 的 API 以及专用部署。据公司自测，Gemma 4 26B 的首 token p95 时间为0.31秒，而 OpenRouter 中位提供商为2.42秒，输入价格为每百万 token 0.07美元。
本摘要由 AnnuIA 根据 Inworld AI 官方页面用自己的话撰写。内容及版权归发布方所有，请阅读原文。