NVIDIA WKN: 918422 ISIN: US67066G1040 Kürzel: NVDA Forum: Aktien Thema: Hauptdiskussion
AMDs MI300X übertrifft NVIDIAs H100 bei LLM-Inferenz AMDs Flaggschiff-Beschleuniger MI300X wurde mit großer Spannung erwartet. Angesichts seiner unübertroffenen Rohspezifikationen bleibt die drängende Frage: Kann er NVIDIAs Hopper-Architektur bei realen KI-Workloads übertreffen? Wir können einige spannende erste Ergebnisse mit Ihnen teilen. Im vergangenen Monat haben TensorWave und MK1 eng zusammengearbeitet, um die Leistung der AMD-Hardware für KI-Inferenz freizusetzen. Zu Beginn konzentrierten wir uns auf Mixture of Expert (MoE)-Architekturen aufgrund ihrer Rechenleistung und Beliebtheit – sie werden insbesondere von Mistral, Meta, Databricks und X.ai für ihre leistungsstärksten Open-Source-LLMs verwendet. Die ersten Ergebnisse sind beeindruckend: Mit der Inferenzsoftware von MK1 erreicht der MI300X im Vergleich zum H100 SXM mit vLLM auf Mixtral 8x7B für einen realen Chat-Anwendungsfall einen um 33 % höheren Durchsatz. Obwohl das Software-Ökosystem von NVIDIA ausgereifter ist, ist klar, dass AMD bereits ein beeindruckender Konkurrent auf dem KI-Markt ist. Wenn man die Hardwareverfügbarkeit und die Kosten berücksichtigt, erweist sich der MI300X als attraktive Option für Unternehmen, die groß angelegte Inferenz in der Cloud ausführen..
Mehr zu diesem Wert
|
|
Thema | ||
|---|---|---|---|
| 1 | VONOVIA Hauptdiskussion | +2,06 % | |
| 2 | für alle, die es ehrlich meinen beim Traden. | ||
| 3 | YANDEX Hauptdiskussion | +2,58 % | |
| 4 | Quantum Crypto Security | +2,15 % | |
| 5 | DAX / Germany 40 Hauptdiskussion | -0,76 % | |
| 6 | Nantkwest / Immunitybio -> IBRX | -7,75 % | |
| 7 | DRONESHIELD LTD Hauptdiskussion | -0,61 % | |
| 8 | ROHÖL BRENT Hauptdiskussion | -0,35 % | |
| 9 | FREYR BATTERY | ±0,00 % | |
| 10 | Security der nächsten Generation | -1,83 % | Alle Diskussionen |
|
|
Thema | ||
|---|---|---|---|
| 1 | VONOVIA Hauptdiskussion | +2,06 % | |
| 2 | YANDEX Hauptdiskussion | +2,58 % | |
| 3 | Quantum Crypto Security | +2,15 % | |
| 4 | DRONESHIELD LTD Hauptdiskussion | -0,61 % | |
| 5 | PLUG POWER Hauptdiskussion | -0,33 % | |
| 6 | Nantkwest / Immunitybio -> IBRX | -7,88 % | |
| 7 | FREYR BATTERY | ±0,00 % | |
| 8 | Security der nächsten Generation | -1,83 % | |
| 9 | Aktuelles zu Almonty Industries | -9,24 % | |
| 10 | Tilray Brands Hauptforum | +0,19 % | Alle Diskussionen |