”Die Einführung des \”Amazon Bedrock Custom Model Import\” ermöglicht signifikante Leistungsverbesserungen, einschließlich reduzierter Latenz, schnellerer Bereitstellung des ersten Tokens und verbesserter Durchsatzrate durch fortschrittliche Optimierungen in PyTorch und CUDA. Kunden können ihre eigenen Modelle in Amazon Bedrock importieren und diese sicher skalieren. \n\nDie neuen Optimierungen beinhalten eine Artefaktcaching-Technologie, die die Initialisierungsgeschwindigkeit erhöht und eine einmalige Verzögerung beim ersten Modellstart in Kauf nimmt. Ab dem zweiten Modell-Instance entfällt diese Verzögerung, was besonders bei der Skalierung vorteilhaft ist. \n\nDie Optimierungen sorgen dafür, dass während der ersten Instanz Erzeugungen, wie optimierte Berechnungsdiagramme und Kernel-Konfigurationen, gespeichert und dann wiederverwendet werden, was die Reaktionszeiten und Durchsatzraten verbessert. Diese Verbesserungen wirken sich positiv auf die Benutzererfahrung aus, insbesondere in Anwendungsfällen wie Chatbots oder AI-gestützten Inhalte-Generatoren, wo schnellere Antworten und höherer Durchsatz wichtig sind.\n\nDie Benchmarks zeigen, dass die Implementierung dieser Änderungen die Zeit bis zum ersten Token und die End-to-End-Latenz signifikant gesenkt hat und gleichzeitig die Anzahl der pro Sekunde verarbeiteten Token erhöht wird. Das bedeutet, dass die Infrastruktur effizienter genutzt werden kann, was zu einer besseren Skalierbarkeit während hoher Nutzung führt.\n\nInsgesamt verbessert Amazon Bedrock Custom Model Import durch innovative Optimierungen die Leistung erheblich, was sofortige Vorteile für bestehende und neue Anwender mit sich bringt, indem es die Modellerstellung und -bereitstellung optimiert.