Eleven Realtime: ein einfacherer Weg zu natürlichen Sprachagenten
ElevenLabs startet Eleven Realtime, ein Angebot zum Entwickeln von Sprachagenten; die Modelle Mini und Max v1 sind in ElevenAgents verfügbar.
Worum es im Artikel geht
ElevenLabs bringt Eleven Realtime auf den Markt, zwei Speech-to-Speech-Modelle für Sprachagenten. Einen natürlichen Sprachagenten zu bauen, heißt normalerweise, Spracherkennung, Aktivitätserkennung, Sprecherwechsel, ein LLM und Sprachsynthese getrennt auszuwählen und abzustimmen; ElevenLabs sagt, den gesamten Stack Ende-zu-Ende abgestimmt zu haben, und macht einzelne Entscheidungen in ElevenAgents einstellbar.
Beide Modelle unterstützen mehr als 90 Sprachen und über 17.000 Stimmen: v1 Mini für natürliche, günstige Gespräche und v1 Max für komplexe Aufgaben wie Kundensupport und Lead-Qualifizierung. Laut Artificial Analysis beantwortet v1 Max 98,8 % der Fragen in Big Bench Audio richtig, bei 0,57 Sekunden bis zum ersten Audio. In ElevenAgents wählt man das Modell per Dropdown; über die Realtime-API, die OpenAIs Realtime-Spezifikation folgt, genügt der Wechsel von Endpunkt und Modellname, jedoch nur per WebSocket und ohne Plattformfunktionen wie Kanäle oder Wissensdatenbanken.
Offiziellen Artikel lesen AnnuIA-Profil
Zusammenfassung von AnnuIA in eigenen Worten nach der offiziellen Seite von ElevenLabs. Inhalt und Rechte liegen beim Herausgeber: bitte den Originalartikel lesen.