Qwen3.8-27B im Praxistest: Man vergisst, dass die KI im eigenen Haus läuft

Kurz gesagt

Ende August haben wir über Qwen3.8-27B geschrieben und versprochen, die Herstellerzahlen nicht einfach weiterzugeben, sondern selbst nachzuprüfen. Das haben wir getan, auf einer einzelnen Grafikkarte und mit echten Aufgaben aus unserem Alltag.

Das Ergebnis hat uns ehrlich überrascht. Qwen3.8-27B lässt einen vergessen, dass man lokal arbeitet. Es ist nicht einfach ein Modell, das Dokumente durchsucht oder Texte zusammenfasst. Es plant, programmiert, recherchiert im Web und bereitet Unterlagen auf, und zwar in einer Qualität und Geschwindigkeit, die wir bisher nur von den großen Cloud-Anbietern kannten.

Der Aufbau: eine Karte, einige Stunden, seitdem Ruhe

Getestet haben wir auf einer einzelnen NVIDIA GeForce RTX 5090 mit 32 GB Grafikspeicher, der Rechner dazu hat 128 GB DDR5-Arbeitsspeicher. Betrieben wird das Modell über vLLM, die Software, über die wir Sprachmodelle auch in ZAjONiC einbinden. Der Kontextspeicher steht auf 128.000 Zeichenbausteinen, das sind mehrere hundert Seiten, die das Modell gleichzeitig im Blick behält.

Einrichtung, Konfiguration und die Feinabstimmung auf diese Karte waren in wenigen Stunden erledigt. Seitdem läuft das System seit Tagen stabil als KI im eigenen Netzwerk, ohne Neustart und ohne Nacharbeit.

Die Feinabstimmung ist der Teil, der den Unterschied macht. Öffentliche Messungen zeigen, wie weit die Werte auf derselben Hardware auseinanderliegen: Mit einer einfachen Standardeinrichtung erreicht eine RTX 5090 rund 100 Tokens pro Sekunde, mit passender Verkleinerung und vorausschauender Token-Erzeugung gut 200. Unser Wert liegt damit am oberen Ende dessen, was mit dieser Karte heute möglich ist.

Der eigentliche Test: ein Programmier-Agent, ganz ohne Cloud

Schnell zu antworten ist das eine. Wir wollten wissen, ob das Modell auch selbstständig arbeiten kann. Deshalb haben wir es an einen Programmier-Agenten angeschlossen: an Claude Code bzw. das offene Gegenstück OpenCode, also genau die Werkzeuge, mit denen Entwickler heute mit den großen Cloud-Modellen arbeiten. Nur dass hier Qwen3.8-27B alles übernommen hat: das Nachdenken und Planen, das Schreiben des Codes und den Zugang ins Web, um selbst zu recherchieren.

Was dabei herauskam:

• Einfache Programmieraufgaben waren in wenigen Sekunden gelöst. Nicht in Minuten, sondern in der Zeit, die man braucht, um die Aufgabe noch einmal durchzulesen.
• Auch komplexere Sachverhalte hat das Modell vollständig erfasst und gelöst. Es hat die Aufgabe zerlegt, Zusammenhänge erkannt und im Netz nachgeschlagen, wo ihm Wissen fehlte.
• Der Direktvergleich mit Claude Opus. Parallel dazu lief Claude Code mit Opus an denselben Aufgaben. Bei manchen davon hat das Cloud-Modell länger gebraucht als das lokale.
• Mit 128.000 Tokens Kontext ohne Probleme. Auch lange Arbeitssitzungen mit vielen Dateien blieben stabil.

Das deckt sich mit Berichten anderer Teams, die Qwen3.8-27B als lokalen Ersatz in Claude Code einsetzen: Für klar umrissene Programmierarbeit, für Umbauten, Testkorrekturen und Oberflächen gilt das Modell dort als vollwertige Arbeitsebene und nicht bloß als Spielzeug.

In unserer Software: Präsentationen, Daten, Plugins

Über vLLM haben wir das Modell auch in ZAjONiC eingebunden. Egal ob es um die Aufbereitung von Inhalten für Präsentationen, das Verarbeiten von Daten oder die Arbeit mit unserem Plugin-Generator ging, die Ergebnisse haben überzeugt.

Was uns buchstäblich vom Hocker gehauen hat: die Aufbereitung von Dokumenten zu einer ansprechenden Darstellung. Aus einem nüchternen Dokument wurde eine gegliederte HTML-Seite mit sauber strukturierten Daten und Animationen. Diese Ergebnisse müssen sich vor keinem Cloud-Modell verstecken.

Und die Sprache? Die war dem Modell völlig gleich. Deutsch, Englisch, gemischte Unterlagen, alles wurde korrekt verstanden, ausgegeben und dargestellt. Damit ist die Frage beantwortet, die wir im ersten Beitrag als wichtigste offene genannt hatten.

Und was sagen die Benchmarks? Der Vergleich mit Claude

Ein eigener Test sagt viel über den eigenen Alltag, aber wenig über den Vergleich. Deshalb haben wir die inzwischen veröffentlichten Messungen zusammengetragen, vor allem zu den beiden Punkten, die uns am meisten beeindruckt haben: Programmieren und Schlussfolgern (Reasoning).

Alibaba hat Qwen3.8-27B in der Modellkarte selbst mit Claude Opus 4.6 Max verglichen, bis vor wenigen Monaten eines der stärksten Modelle überhaupt. Das Ergebnis: Das Modell mit 27 Milliarden Parametern, das auf eine Grafikkarte passt, liegt bei 16 von 24 Prüfungen vorn.

Wie belastbar sind diese Zahlen?

Herstellerzahlen bleiben Herstellerzahlen. Die Prüfumgebungen sind nicht in jedem Punkt identisch, der Vorsprung beim Programmieren ist deshalb als Größenordnung zu lesen, nicht auf die Kommastelle. Umso wichtiger sind die unabhängigen Messungen, die seit dem ersten Beitrag hinzugekommen sind:

• Artificial Analysis Intelligence Index: 52 Punkte. Der unabhängige Gesamtindex aus neun Prüfungen zu Programmieren, Naturwissenschaft, Schlussfolgern und Büroarbeit. Der direkte Vorgänger mit gleicher Größe kam auf 38. Das ist ein Sprung von 14 Punkten, allein durch besseres Training.
• Agentic Index: 51 Punkte, vor Claude Opus 4.8. Beim selbstständigen Abarbeiten mehrschrittiger Aufgaben liegt Qwen3.8-27B unabhängig gemessen knapp vor Claude Opus 4.8 in höchster Denkstufe, dem Spitzenmodell von Anthropic bis zum Frühjahr.
• ExtractBench: 89,75 Punkte. Beim Herausziehen strukturierter Daten aus Dokumenten, gemessen von LlamaIndex, bei kurzen Dokumenten sogar 94,7. Das passt zu dem, was wir bei der Dokumentaufbereitung gesehen haben.

Zur Einordnung nach oben: Das derzeit stärkste Modell von Anthropic, Claude Opus 5.5, erreicht im selben Gesamtindex 58 Punkte und führt ihn damit an. Der Abstand zwischen einem lokalen Modell auf einer Grafikkarte und der absoluten Spitze der Cloud beträgt also sechs Punkte.

Wo Claude vorn bleibt, und warum das kein Widerspruch ist

Zur ehrlichen Bilanz gehört, wo die großen Cloud-Modelle weiterhin stärker sind. Die Messungen zeigen drei Bereiche:

• Die schwersten Wissensfragen. Bei „Humanity's Last Exam“ liegt schon Opus 4.6 Max mit 40 gegen 30,8 Punkte deutlich vorn. Wer Spitzenwissen aus sehr vielen Fachgebieten gleichzeitig braucht, profitiert von der schieren Größe der Cloud-Modelle.
• Lange, unbeaufsichtigte Läufe. Beim selbstständigen Arbeiten in der Kommandozeile und beim Aufbau ganzer Software-Projekte hat Claude die Nase vorn (78,2 gegen 73,0 bzw. 47,6 gegen 42,3).
• Denkaufwand. Das Modell ist ab Werk auf sehr gründliches Nachdenken eingestellt und verbraucht dabei ein Vielfaches an Tokens. Im Indextest waren es 160 Millionen gegenüber einem Mittel von 43 Millionen bei vergleichbaren Modellen. Ohne Anpassung dauert eine einfache Aufgabe unnötig lange. Genau hier setzt die Feinabstimmung an, die bei uns die Geschwindigkeit bringt.

Daraus folgt keine Entweder-oder-Entscheidung, sondern eine Aufgabenteilung. Der Großteil der täglichen Arbeit, also Texte, Daten, Dokumente, Programmierung mit klarer Aufgabe, lässt sich vollständig im eigenen Haus erledigen. Für die wenigen Fälle an der absoluten Leistungsgrenze bleibt der Weg in die Cloud offen, wenn man ihn gehen will.

Was als Nächstes kommt

Besonders spannend ist, wohin sich das bewegt. Die Verkleinerung der Modelle, die sogenannte Quantisierung, schreitet schnell voran, und mit jeder Generation wird besser verstanden, wie man ein Modell auf eine bestimmte Hardware abstimmt. Dieselbe Grafikkarte, die heute 200 Tokens pro Sekunde liefert, lieferte mit den Einstellungen vom Erscheinungstag gerade einmal die Hälfte.

Für die großen Anbieter wird es damit spürbar schwerer. Wenn ein zugegeben kräftiger, aber ganz normaler Rechner im eigenen Haus solche Ergebnisse liefert, und das ohne laufende Kosten pro Token, abgesehen vom Strom, dann ändert sich die Rechnung für jedes Unternehmen und jede Verwaltung, die heute für jede Anfrage bezahlt.

Häufige Fragen

Auf welcher Hardware lief der Test?

Auf einer einzelnen NVIDIA GeForce RTX 5090 mit 32 GB Grafikspeicher in einem Rechner mit 128 GB DDR5-Arbeitsspeicher. Das Modell lief über vLLM, eine verbreitete Software für den Betrieb von Sprachmodellen, mit einem Kontextspeicher von 128.000 Zeichenbausteinen. Einrichtung und Feinabstimmung haben einige Stunden gedauert, seitdem läuft das System seit Tagen stabil als KI im eigenen Netzwerk.

Wie schnell ist das Modell auf einer RTX 5090?

In unserem Aufbau bis zu 200 Zeichenbausteine (Tokens) pro Sekunde bei Text und bis zu 170 bei Aufgaben mit Bildern. Das ist deutlich schneller, als man lesen kann, und liegt im Bereich der besten öffentlich berichteten Werte für diese Karte. Ohne Feinabstimmung werden auf derselben Karte oft nur 70 bis 120 Tokens pro Sekunde erreicht.

Ist Qwen3.8-27B so gut wie Claude?

In Teilen ja, insgesamt nein. In den Herstellertests schlägt es Claude Opus 4.6 Max bei 16 von 24 Prüfungen, etwa beim Beheben echter Programmfehler und beim Bedienen eines Rechners. Im unabhängigen Gesamtindex von Artificial Analysis liegt es mit 52 Punkten hinter dem aktuellen Spitzenmodell Claude Opus 5.5 mit 58 Punkten. Bei den schwersten Wissens- und Langzeitaufgaben bleibt Claude vorn. Für einen Großteil der täglichen Arbeit reicht die lokale Leistung aber vollständig.

Kann man das Modell mit Claude Code oder OpenCode verwenden?

Ja. Programmier-Agenten wie Claude Code oder das offene OpenCode lassen sich auf ein lokal betriebenes Modell umstellen. In unserem Test hat Qwen3.8-27B darin das Planen, das Programmieren und die Recherche im Web übernommen, ohne ein externes Modell.

Funktioniert das Modell auf Deutsch?

Ja. Im Ursprungsbeitrag war die deutsche Sprache noch unsere wichtigste offene Frage. Im Test hat das Modell Deutsch und Englisch gleichermaßen sicher verstanden und korrekt ausgegeben, auch bei Umlauten, Fachbegriffen und bei gemischtsprachigen Unterlagen.

Was kostet der Betrieb?

Nach der Anschaffung der Hardware fallen keine Gebühren pro Anfrage an, nur Strom. Das Modell steht unter der Apache-2.0-Lizenz und darf kommerziell genutzt werden. Welche Hardware für den eigenen Fall passt, zeigen unsere vier Ausbaustufen für lokale KI.

Wo liegen die Grenzen?

Das Modell denkt in der Grundeinstellung sehr gründlich und verbraucht dabei viele Tokens; ohne Anpassung der Denktiefe kann eine einfache Aufgabe unnötig lange dauern. Bei sehr langen, unbeaufsichtigten Agenten-Läufen und bei den schwersten Wissensfragen liegen die großen Cloud-Modelle weiter vorn. Beides spricht für eine bewusste Aufgabenteilung, nicht gegen den lokalen Betrieb.