Zweitens hat man den Trainingsablauf sozusagen etwas angepasst und konnte so eben mit smarter Ausnutzung der Grafikkarten das Ganze um einiges effizienter machen.
Ich muss sagen, ich wusste bisher nichts von diesem Problem mit, ich weiß gar nicht, was das für Chips sind, so Chips, die man in Grafikkarten, Computern benutzt.
Nach Quantisierung, also der Reduzierung der Modellgröße durch weniger präzise Zahlenformate, läuft das Modell auf einer einzelnen NVIDIA H100 mit 80 GB Speicher.
Die damit gebaute Grok Cloud soll laut dem Unternehmen mehr als fünfmal schneller und günstiger arbeiten als Cloud-Systeme mit herkömmlichen Grafikkarten.
Das heißt, wir haben jetzt eine typische Grafikkarte, die in diesen Bereichen eingesetzt wird, getestet, diese NVIDIA A100 Grafikkarte, aber mit neueren Grafikkarten ist ja zum Beispiel auch die Effizienz ganz anders.