Kimi K3 bringt 2,8 Billionen Parameter mit offenen Gewichten, lokal bleibt es teuer

Ein Modell mit 2,8 Billionen Parametern passt nicht in den üblichen Entwicklerrechner. Moonshots Kimi K3 ist dennoch mit offenen Gewichten verfügbar und führt damit vor, wie weit sich offene Sprachmodelle inzwischen nach oben schieben. In Benchmarks landet es laut heise online regelmäßig auf Spitzenplätzen und antwortete in eigenen Tests ausführlich. Bei heiklen politischen Fragen blieb es allerdings auf Linie der Kommunistischen Partei Chinas.

Die Größe allein erklärt den Sprung nicht. Kimi K3 nutzt Kimi Delta Attention, einen Aufmerksamkeitsmechanismus für Sprachmodelle, bei dem sich lineare und globale Schichten im Verhältnis 3:1 abwechseln. Das soll besonders bei langen Texten Rechenzeit und Speicher sparen. Seine Mixture-of-Experts-Architektur verteilt Aufgaben außerdem auf 896 Experten — so viele waren in offenen Modellen bisher nicht verfügbar.

Auch beim Speicher setzt Moonshot an. Die Gewichte wurden in das kompakte MXFP4-Format überführt; dadurch sinkt der Bedarf gegenüber dem häufig verwendeten bfloat16 auf ein Viertel. Der Engpass verschwindet damit nicht: Für Kimi K3 sind selbst bei kleinen Kontexten mindestens 1,5 TByte RAM erforderlich. Eine lokale Ausführung bleibt damit wenigen Firmen vorbehalten, ist technisch aber möglich. Für die meisten dürfte zunächst der angebotene Clouddienst der praktikablere Zugang sein.

Parallel kommen weitere große Modelle aus China hinzu. Alibaba stellte Anfang August Qwen3.8-Max mit 2,4 Billionen Parametern vor, zunächst nur per API; die Gewichte sollen folgen. Das Modell soll laut Alibaba fast 16 Tage autonom an einem Coding-Projekt gearbeitet, wissenschaftliche Artikel überprüft sowie den darin verwendeten Programmcode verstanden und optimiert haben. Diese Angaben und die starken Benchmarkwerte müssen unabhängige Tests noch bestätigen. DeepSeek wiederum zeigt mit einem deutlich kleineren Flash-Modell, dass Modellgröße nicht automatisch die beste Leistung bedeutet.

Und was ändert das konkret? Unternehmen bekommen mehr Auswahl zwischen geschlossenen Diensten und Modellen mit offenen Gewichten. Wer sensible Daten lokal verarbeiten will, kann Kimi K3 grundsätzlich einsetzen — muss dafür aber eine Infrastruktur bezahlen, die laut den genannten Anforderungen für viele Firmen zu teuer ist. Für kleinere Teams verschiebt sich der praktische Vorteil deshalb vorerst in die Cloud. Die technische Richtung ist trotzdem klar: Offene Modelle werden leistungsfähiger, während ihre Hardwarekosten den Zugang weiterhin begrenzen.