Der neue Chip mit der Bezeichnung H200 wird Nvidias aktuellen Top-Chip, den H100, übertreffen. Die wichtigste Verbesserung des neuen Chips besteht in seinem Speicher mit höherer Bandbreite, der zu den teuersten Teilen des Chips gehört und bestimmt, wie schnell er Daten verarbeiten kann.

Nvidia hat derzeit ein Monopol auf dem Markt für KI-Chips und beliefert den ChatGPT-Dienst von OpenAI und viele KI-Dienste mit Chips, die menschenähnliche Reaktionen generieren. Durch das Hinzufügen eines Speichers mit höherer Bandbreite und schnellerer Verbindungen zu den Verarbeitungselementen des Chips können Dienste wie ChatGPT laut Reuters schneller reagieren.

Der H200 verfügt über 141 Gigabyte (GB) Hochbandbreitenspeicher, im Vergleich zu 80 GB beim vorherigen H100-Chip. Nvidia gab den Speicherlieferanten für den neuen Chip nicht bekannt, Micron Technology erklärte jedoch im September, dass man daran arbeite, Lieferant für Nvidia zu werden.

Nvidia gab außerdem bekannt, dass Amazon Web Services, Google Cloud, Microsoft Azure und Oracle Cloud Infrastructure die ersten Cloud-Dienstanbieter sein werden, die den H200-Chip nutzen, zusätzlich zu professionellen KI-Cloud-Dienstanbietern wie CoreWeave, Lambda und Vultr.