Vorstellung von Inworld Inference
Inworld startet Inference, eine Inferenz-API für Verbraucher-KI-Apps, die offene Modelle wie Gemma 4 26B optimiert. Das erste Token soll bei p95 bis zu 7,8-mal schneller sein als beim mittleren OpenRouter-Anbieter, die Eingabepreise bis zu 48 % niedriger.
Worum es im Artikel geht
Am 14. Oktober 2026 kündigte Inworld Inworld Inference an, eine LLM-Inferenz-API für Consumer-KI-Apps wie Begleiter, Tutoren und Coaching, offen für alle Entwickler. Sie zielt auf konkrete Anforderungen: schnelle Antworten im Gespräch, lange Prompts mit kurzen Ausgaben, viele Aufrufe pro Zug, niedrige Kosten pro Nutzer und hohe Zuverlässigkeit.
Geboten werden optimierte Builds offener Modelle (Gemma 4, GLM, DeepSeek, MiMo), Echtzeit-Decoding, bei dem ein Entwurfsmodell Token vorschlägt, die das Vollmodell prüft, KV-bewusstes Routing, vier Servicestufen (Flex, Default, Priority, Fast), automatisches Failover auf Ausweichmodelle, eine OpenAI-kompatible API und dedizierte Deployments. Nach eigenen Messungen des Unternehmens erreicht Gemma 4 26B ein p95 der Zeit bis zum ersten Token von 0,31 s gegenüber 2,42 s beim medianen OpenRouter-Anbieter, bei 0,07 $ pro Million Eingabe-Token.
Offiziellen Artikel lesen AnnuIA-Profil
Zusammenfassung von AnnuIA in eigenen Worten nach der offiziellen Seite von Inworld AI. Inhalt und Rechte liegen beim Herausgeber: bitte den Originalartikel lesen.