Aktien und Saunaclub alla Luci Forum: Community User: WALL.E
Heute in den News zu Nvidia/Alibaba: Alibaba Cloud hat ein neues Computing-Pooling-System namens Aegaeon vorgestellt, das Berichten zufolge den Bedarf an Nvidia-GPUs bei der Bereitstellung seiner KI-Modelle um 82 % senkt. Diese Innovation wurde in einem Forschungsbeitrag auf dem 31. Symposium on Operating Systems Principles (SOSP) vorgestellt und zielt darauf ab, die bei der Bereitstellung gleichzeitiger Large Language Model (LLM)-Workloads häufig auftretende Ressourceneffizienz zu beheben. Das Aegaeon-System nutzt automatische Skalierung auf Token-Ebene und Ressourcenpooling, sodass eine einzelne Nvidia H20-GPU bis zu sieben verschiedene Modelle gleichzeitig unterstützen kann, was eine erhebliche Steigerung gegenüber den bisherigen maximal zwei oder drei Modellen darstellt. Während der Beta-Tests auf dem Modellmarktplatz von Alibaba Cloud reduzierte das System die Anzahl der erforderlichen Nvidia H20-GPUs für Modelle mit bis zu 72 Milliarden Parametern von 1.192 auf 213. Diese erhebliche Effizienzsteigerung senkt die Kosten für die Hardwarebeschaffung und steht im Einklang mit Chinas Bestrebungen nach technologischer Selbstversorgung und Optimierung der KI-Infrastruktur.
|
|
Thema | ||
|---|---|---|---|
| 1 | ParaZero Technologies Ltd. | -2,11 % | |
| 2 | Beyond Meat Hauptdiskussion | -3,31 % | |
| 3 | EUROPEAN LITHIUM Hauptdiskussion | -1,58 % | |
| 4 | DAX Hauptdiskussion | -0,64 % | |
| 5 | PAYPAL Hauptdiskussion | +2,55 % | |
| 6 | RHEINMETALL Hauptdiskussion | -0,49 % | |
| 7 | PLUG POWER Hauptdiskussion | +10,53 % | |
| 8 | FuelCell Energy Inc Registered Shs Hauptdiskussion | +23,13 % | |
| 9 | NVIDIA Hauptdiskussion | -2,35 % | |
| 10 | AMAZON Hauptdiskussion | +1,71 % | Alle Diskussionen |
|
|
Thema | ||
|---|---|---|---|
| 1 | ParaZero Technologies Ltd. | -3,64 % | |
| 2 | Beyond Meat Hauptdiskussion | -3,31 % | |
| 3 | EUROPEAN LITHIUM Hauptdiskussion | -1,58 % | |
| 4 | PAYPAL Hauptdiskussion | +2,55 % | |
| 5 | RHEINMETALL Hauptdiskussion | -0,49 % | |
| 6 | PLUG POWER Hauptdiskussion | +11,32 % | |
| 7 | FuelCell Energy Inc Registered Shs Hauptdiskussion | +23,13 % | |
| 8 | NVIDIA Hauptdiskussion | -1,82 % | |
| 9 | AMAZON Hauptdiskussion | +1,70 % | |
| 10 | MICRON TECHNOLOGY Hauptdiskussion | +0,21 % | Alle Diskussionen |