Welche Bedeutung haben Modellgröße, Kontextfenster und Quantisierung?

Drei Größen mit unterschiedlichen Folgen

Die Parameterzahl beeinflusst Speicherbedarf und Rechenarbeit, ist aber kein Qualitätsbeweis. Ein kleineres, gut passendes Modell kann eine eng definierte Aufgabe besser lösen als ein größeres, das nicht für Sprache, Format oder Einsatzfall geprüft wurde. Deshalb wird Modellqualität mit realen Aufgaben gemessen und nicht aus der Zahl im Namen abgeleitet.

Das Kontextfenster begrenzt, wie viele Tokens aus Systemanweisung, Gespräch, RAG-Fundstellen und gewünschter Ausgabe gemeinsam verarbeitet werden können. Ein größeres Fenster heißt nicht, dass jedes eingefügte Dokument zuverlässig beachtet wird. Außerdem wächst während der Generierung der KV-Cache. Längere Kontexte können deshalb Parallelität und Antwortzeit deutlich verschlechtern, selbst wenn die Gewichte in den GPU-Speicher passen.

Quantisierung speichert Gewichte mit weniger Bits. Als reine Überschlagsrechnung gilt Parameterzahl × Bits ÷ 8. Für 7 Milliarden Parameter ergeben sich rund 14 GB bei 16 Bit, 7 GB bei 8 Bit und 3,5 GB bei 4 Bit. Diese Werte enthalten weder KV-Cache noch temporäre Tensoren, Laufzeitbibliotheken und Speicherfragmentierung. Die Dokumentation von bitsandbytes beschreibt, dass 8-Bit-Quantisierung den Gewichtsspeicher ungefähr halbieren kann; 4-Bit-Verfahren sparen weiter, können aber je Modell und Aufgabe Qualität beeinflussen.

Eine Kapazitätsplanung reserviert daher nicht nur Platz für die Modelldatei. Sie misst mit geplanter Kontext- und Ausgabelänge, parallelen Anfragen und dem konkreten Quantisierungsformat. Nach jeder Quantisierung läuft derselbe Qualitätstest wie beim Ausgangsmodell. Erst wenn fachliche Genauigkeit, Sicherheit und p95-Latenz die vorab gesetzten Grenzen erreichen, wird die Variante freigegeben. Modellname, Revision, Quantisierungsverfahren und Prüfsumme gehören in die Betriebsdokumentation.