Aktien und Saunaclub alla Luci Forum: Community User: WALL.E
Heute in den News zu Nvidia/Alibaba: Alibaba Cloud hat ein neues Computing-Pooling-System namens Aegaeon vorgestellt, das Berichten zufolge den Bedarf an Nvidia-GPUs bei der Bereitstellung seiner KI-Modelle um 82 % senkt. Diese Innovation wurde in einem Forschungsbeitrag auf dem 31. Symposium on Operating Systems Principles (SOSP) vorgestellt und zielt darauf ab, die bei der Bereitstellung gleichzeitiger Large Language Model (LLM)-Workloads häufig auftretende Ressourceneffizienz zu beheben. Das Aegaeon-System nutzt automatische Skalierung auf Token-Ebene und Ressourcenpooling, sodass eine einzelne Nvidia H20-GPU bis zu sieben verschiedene Modelle gleichzeitig unterstützen kann, was eine erhebliche Steigerung gegenüber den bisherigen maximal zwei oder drei Modellen darstellt. Während der Beta-Tests auf dem Modellmarktplatz von Alibaba Cloud reduzierte das System die Anzahl der erforderlichen Nvidia H20-GPUs für Modelle mit bis zu 72 Milliarden Parametern von 1.192 auf 213. Diese erhebliche Effizienzsteigerung senkt die Kosten für die Hardwarebeschaffung und steht im Einklang mit Chinas Bestrebungen nach technologischer Selbstversorgung und Optimierung der KI-Infrastruktur.
|
|
Thema | ||
|---|---|---|---|
| 1 | Aegis Critical Energy Defence | -5,48 % | |
| 2 | Metaplanet | -0,22 % | |
| 3 | SALESFORCE Hauptdiskussion | +1,51 % | |
| 4 | Marathon Digital Holdings | -10,18 % | |
| 5 | BTC/USD Hauptdiskussion | -0,28 % | |
| 6 | BioNTech Hauptdiskussion | -7,96 % | |
| 7 | ENERGY FUELS Hauptdiskussion | -6,77 % | |
| 8 | Canada Nickel Company Hauptdiskussion | -1,89 % | |
| 9 | NVIDIA Hauptdiskussion | -3,65 % | |
| 10 | DEUTZ Hauptdiskussion | +4,29 % | Alle Diskussionen |
|
|
Thema | ||
|---|---|---|---|
| 1 | Aegis Critical Energy Defence | -5,48 % | |
| 2 | Metaplanet | -0,22 % | |
| 3 | SALESFORCE Hauptdiskussion | +1,51 % | |
| 4 | Marathon Digital Holdings | -10,18 % | |
| 5 | BioNTech Hauptdiskussion | -7,96 % | |
| 6 | ENERGY FUELS Hauptdiskussion | -6,77 % | |
| 7 | Canada Nickel Company Hauptdiskussion | -1,89 % | |
| 8 | NVIDIA Hauptdiskussion | -3,65 % | |
| 9 | DEUTZ Hauptdiskussion | +4,29 % | |
| 10 | Gossamer Bio Hauptforum | +1,23 % | Alle Diskussionen |