Inkling bringt 975-Milliarden-Parameter-Modell mit offenen Gewichten

Auf dem Papier ist Inkling ein Schwergewicht: Thinking Machines Lab hat sein erstes großes Sprachmodell vorgestellt und die Gewichte veröffentlicht. 975 Milliarden Parameter machen es zum derzeit größten Open-Weight-Modell außerhalb Chinas, das in der Quelle genannt wird. Gegründet wurde das US-Start-up von Mira Murati, der früheren Technikchefin von OpenAI.

Die offene Bereitstellung bedeutet allerdings nicht, dass das Modell auf jedem Rechner läuft. In der kompakten NVFP4-Quantisierung braucht Inkling allein für seine Parameter etwa 600 GByte RAM, im bfloat16-Format sogar 2 TByte. Für viele Nutzer bleibt ein lokaler Betrieb damit außer Reichweite. Die Gewichte sind verfügbar, die nötige Hardware ist es nicht automatisch.

Technisch setzt Inkling auf ein MoE-System, also auf viele spezialisierte Teilmodelle, von denen jeweils nur ein Teil rechnet. Von 256 Experten sind pro Vorhersage sechs aktiv; zwei geteilte Experten arbeiten immer mit. So werden bei jeder Berechnung 41 Milliarden Parameter eingesetzt. Hinzu kommen Text-, Bild- und Audioverarbeitung sowie eine Kontextlänge von einer Million Token.

Für Entwickler gibt es zwei konkrete Ansatzpunkte: Inkling kann auf der Plattform Tinker mit eigenen Daten nachtrainiert werden, und ein kleineres Modell übernimmt die Multi-Token Prediction. Es sagt weitere Token voraus, die das große Modell anschließend prüfen kann. Laut Thinking Machines Lab könnte das die Ausgabe beschleunigen und die durchschnittlich benötigte Parameterzahl senken. Ob diese Rechnung trägt, ist noch nicht unabhängig bestätigt.

Und was ändert das konkret? Teams erhalten ein sehr großes, offen gewichtetes US-Modell, das sie untersuchen und mit eigenen Daten anpassen können, ohne auf ein geschlossenes Modell beschränkt zu sein. Für den Betrieb vor Ort braucht es jedoch eine entsprechend große Speicher- und Rechenumgebung. Der Fortschritt liegt damit zunächst vor allem im Zugang zu den Gewichten und in der Modellarchitektur — nicht in einem unkomplizierten Einsatz auf dem eigenen Rechner.