Aktien und Saunaclub alla Luci Forum: Community User: WALL.E
Heute in den News zu Nvidia/Alibaba: Alibaba Cloud hat ein neues Computing-Pooling-System namens Aegaeon vorgestellt, das Berichten zufolge den Bedarf an Nvidia-GPUs bei der Bereitstellung seiner KI-Modelle um 82 % senkt. Diese Innovation wurde in einem Forschungsbeitrag auf dem 31. Symposium on Operating Systems Principles (SOSP) vorgestellt und zielt darauf ab, die bei der Bereitstellung gleichzeitiger Large Language Model (LLM)-Workloads häufig auftretende Ressourceneffizienz zu beheben. Das Aegaeon-System nutzt automatische Skalierung auf Token-Ebene und Ressourcenpooling, sodass eine einzelne Nvidia H20-GPU bis zu sieben verschiedene Modelle gleichzeitig unterstützen kann, was eine erhebliche Steigerung gegenüber den bisherigen maximal zwei oder drei Modellen darstellt. Während der Beta-Tests auf dem Modellmarktplatz von Alibaba Cloud reduzierte das System die Anzahl der erforderlichen Nvidia H20-GPUs für Modelle mit bis zu 72 Milliarden Parametern von 1.192 auf 213. Diese erhebliche Effizienzsteigerung senkt die Kosten für die Hardwarebeschaffung und steht im Einklang mit Chinas Bestrebungen nach technologischer Selbstversorgung und Optimierung der KI-Infrastruktur.
|
|
Thema | ||
|---|---|---|---|
| 1 | TUI Hauptforum | +0,95 % | |
| 2 | Dax Prognose | ±0,00 % | |
| 3 | NEL ASA Hauptdiskussion | +19,15 % | |
| 4 | DAX Hauptdiskussion | ±0,00 % | |
| 5 | PLUG POWER Hauptdiskussion | +1,18 % | |
| 6 | Diginex Hauptdiskussion | +4,51 % | |
| 7 | DEUTSCHE TELEKOM Hauptdiskussion | +0,37 % | |
| 8 | INTEL Hauptdiskussion | +2,13 % | |
| 9 | Novo Nordisk nach Split | +1,52 % | |
| 10 | Der Gold Club von Susiwong | +1,92 % | Alle Diskussionen |
|
|
Thema | ||
|---|---|---|---|
| 1 | TUI Hauptforum | +0,95 % | |
| 2 | NEL ASA Hauptdiskussion | +19,15 % | |
| 3 | PLUG POWER Hauptdiskussion | +1,18 % | |
| 4 | DEUTSCHE TELEKOM Hauptdiskussion | +0,15 % | |
| 5 | Diginex Hauptdiskussion | +4,51 % | |
| 6 | Novo Nordisk nach Split | +1,54 % | |
| 7 | INTEL Hauptdiskussion | +2,04 % | |
| 8 | NEL ohne Spam | +19,15 % | |
| 9 | FuelCell Energy Inc Registered Shs Hauptdiskussion | +12,77 % | |
| 10 | Mercedes-Benz Group Hauptdiskussion | -0,65 % | Alle Diskussionen |