NVIDIA WKN: 918422 ISIN: US67066G1040 Forum: Aktien Thema: Hauptdiskussion

AMDs MI300X übertrifft NVIDIAs H100 bei LLM-Inferenz AMDs Flaggschiff-Beschleuniger MI300X wurde mit großer Spannung erwartet. Angesichts seiner unübertroffenen Rohspezifikationen bleibt die drängende Frage: Kann er NVIDIAs Hopper-Architektur bei realen KI-Workloads übertreffen? Wir können einige spannende erste Ergebnisse mit Ihnen teilen. Im vergangenen Monat haben TensorWave und MK1 eng zusammengearbeitet, um die Leistung der AMD-Hardware für KI-Inferenz freizusetzen. Zu Beginn konzentrierten wir uns auf Mixture of Expert (MoE)-Architekturen aufgrund ihrer Rechenleistung und Beliebtheit – sie werden insbesondere von Mistral, Meta, Databricks und X.ai für ihre leistungsstärksten Open-Source-LLMs verwendet. Die ersten Ergebnisse sind beeindruckend: Mit der Inferenzsoftware von MK1 erreicht der MI300X im Vergleich zum H100 SXM mit vLLM auf Mixtral 8x7B für einen realen Chat-Anwendungsfall einen um 33 % höheren Durchsatz. Obwohl das Software-Ökosystem von NVIDIA ausgereifter ist, ist klar, dass AMD bereits ein beeindruckender Konkurrent auf dem KI-Markt ist. Wenn man die Hardwareverfügbarkeit und die Kosten berücksichtigt, erweist sich der MI300X als attraktive Option für Unternehmen, die groß angelegte Inferenz in der Cloud ausführen..