Thema:
Re:nVIDIA verkaufen? flat
Autor: _bla_
Datum:11.02.24 08:10
Antwort auf:Re:nVIDIA verkaufen? von mat

>Punkt 1: OpenAI will eigene Beschleuniger entwickeln. Würde bedeuten, dass die beim Trainieren und Ausführen der großen Modelle weniger von Nvidia abhängig sein werden. Womöglich können andere Anbieter die Teile auch kaufen und selbst betreiben, was ggf starke Konkurrenz für Nvidia bedeuten würde.

Man sollte das nicht nur auf OpenAI bezogen sehen: Alle großen Cloudanbieter haben auch eigene Lösungen in Entwicklung. Das Problem ist die Flexibilität und die Software. NVIDIA hat einfach sehr flexible Hardware und den mit dem Abstand besten Softwaresupport. Gerade für Forschung und neue Netzarchitekturen macht das NVIDIA oftmals ziemlich konkurrenzlos.

Allerdings: Gerade nach dem Training spielt die hohe Flexibilität und einfache Software nicht mehr so die Rolle. Wenn man wie OpenAI ein großes Modell hat, was man für Millionen von Kunden zur Verfügung stellen will, dann spielt es eben keine große Rolle mehr, ob das Modell Out-Of-Box gut auf der Hardware läuft oder ob man noch eine Handvoll Software-Entwickler braucht, die ein paar Verbesserungen und Anpassungen entwickeln müssen, damit das Modell effizient auf einem Beschleuniger läuft. Umso mehr Rechenleistung gebraucht wird, umso wichtiger wird der Preis der Hardware und umso unwichtiger, wird Aufwand für die Anpassung des Modells an die Hardware.

>Punkt 2 & 3

Spielt imho weniger eine Rolle. Die Marge kommt von den ganz dicken Datacenter GPUs, lokale Ausführung von Netzes auf NVidia GPUs ist eine Nischenanwendung und funktioniert meistens schon länger auf GPUs anderer Anbieter und Beschleuniger.

Einen andere wichtigen Punkt hast du aber vergessen:
AMD hat inzwischen einen konkurrenzfähigen Beschleuniger auf den Markt gebracht, den MI300X. Er ist bei OpenAI schon im Einsatz, bietet mehr Performance als NVIDIA H100/H200 und vor allem auch wesentlich mehr Speicher was gerade für große Modelle sehr wichtig ist. NVIDIA nimmt trotzdem 3-4 mal höhere Preise und erzielt dementsprechende Traummargen. AMDs Angebot dürfte erheblichen Druck auf NVIDIAs Preise machen und damit die Margen stark schrumpfen lassen.


< antworten >