”Amazon SageMaker HyperPod ist jetzt allgemein verfügbar und unterstützt die GPU-Partitionierung mit der NVIDIA Multi-Instance GPU (MIG). Diese Funktion ermöglicht es Nutzern, mehrere Aufgaben gleichzeitig auf einer einzelnen GPU auszuführen, wodurch die Effizienz erhöht und Rechenressourcen besser genutzt werden können. Data Scientists können leichtgewichtige Aufgaben auf beschleunigten Compute-Ressourcen ausführen, ohne auf die Verfügbarkeit ganzer GPUs warten zu müssen. Cluster-Administratoren können unterschiedliche Workloads parallel auf derselben GPU ausführen und gleichzeitig die Leistung und Isolation der Arbeitslasten gewährleisten.\n\nDie MIG-Technologie wurde 2020 von NVIDIA vorgestellt. Sie erlaubt es, eine GPU in mehrere kleinere Einheiten (MIG-Geräte) zu partitionieren, von denen jedes als unabhängige, isolierte GPU-Instanz funktioniert. Dies verbessert die Leistung und verringert Ressourcenkonflikte zwischen den Aufgaben.\n\nMIG bietet zahlreiche Vorteile, darunter:\n- Vereinfachte Verwaltung: Die Einrichtung und Skalierung der GPU-Partitionen ist einfach.\n- Optimierung der Ressourcennutzung: Leistungsstarke GPUs können in passende Partitionen für kleinere Aufgaben unterteilt werden.\n- Kostenersparnis: Die gleichzeitige Ausführung mehrerer Workloads senkt die Infrastrukturkosten.\n- Echtzeitüberwachung: Administratoren können die GPU-Nutzung und Leistung in Echtzeit verfolgen.\n\nZusätzlich werden spezifische Anwendungsfälle wie ressourcengeführte Modelldienste und gemischte Workloads unterstützt, um den Bedarf an unterschiedlichen GPU-Anforderungen zu erfüllen. \n\nDie Architektur von MIG in einem HyperPod-Cluster wird detailliert beschrieben, und Beispiele für die Implementierung von MIG in Echtzeit werden vorgestellt. Dazu gehören die Nutzung von HyperPod-Inferenzoperatoren zur Bereitstellung von Modellen und die Nutzung von Jupyter-Notebooks für interaktive Entwicklungsumgebungen.\n\nAbschließend wird betont, dass die MIG-Partitionierung in AWS SageMaker HyperPod eine leistungsstarke Lösung zur Maximierung der GPU-Infrastruktur bietet, indem sie Flexibilität und Kontrolle bei gleichzeitiger Aufrechterhaltung der Leistung und Zuverlässigkeit bietet.