”Im Jahr 2025 hat sich generative KI von der reinen Textgenerierung hin zu multimodalen Anwendungen entwickelt, die Echtzeit-Datenströme erfordern, etwa in der Audio-Transkription und bei Sprachagenten. Aktuelle Anwendungen verlangen eine kontinuierliche, bidirectionale Kommunikation zwischen Nutzern und Modellen. Dies wird durch die Einführung des bidirektionalen Streamings für Amazon SageMaker AI ermöglicht, was eine flüssige, unterbrechungsfreie Interaktion ermöglicht.\n\nMit dieser Technologie können Benutzer beim Sprechen sofortige Transkripte erhalten, was insbesondere im Kundenservice vorteilhaft ist, da Agenten sofort auf das, was der Anrufer sagt, reagieren können. SageMaker AI Inference nutzt dafür HTTP/2 und WebSocket-Protokolle für die Echtzeit-Zwei-Wege-Kommunikation. Im Gegensatz zum traditionellen Ansatz, bei dem vollständige Anfragen gesendet und beantwortet werden, ermöglicht das bidirektionale Streaming, dass Anfragen und Antworten gleichzeitig fließen.\n\nBenutzer können eigene Container für diese Funktion erstellen oder vorgefertigte Modelle wie die von Deepgram nutzen, die für Spracherkennung und andere Sprachdienste geeignet sind. Deepgram bietet Modelle mit hoher Genauigkeit, die direkt bei SageMaker bereitgestellt werden können.\n\nDie Schritte zur Erstellung und Bereitstellung eines Containers mit bidirektionalem Streaming sowie eine Anleitung zur Integration von Deepgram-Modellen werden anschaulich erklärt. Drittanbieter können von der Flexibilität dieser neuen Möglichkeiten profitieren, um Echtzeitanwendungen mit minimalem Verwaltungsaufwand zu entwickeln und zu implementieren. \n\nInsgesamt zeigt der Artikel, wie die neue bidirektionale Streaming-Funktionalität von SageMaker dazu beitragen kann, KI-Anwendungen in Echtzeit flüssiger und benutzerfreundlicher zu gestalten und bietet eine Schritt-für-Schritt-Anleitung zur praktischen Implementierung.