Was passiert ist
Am 14. September 2026 hat Golem eine Analyse von Tim Elsner veröffentlicht. Kernaussage: Die beworbenen Kontextlängen in Millionenhöhe sind kein Garant für verlässliche Antworten. Viele Modelle versagen bei sehr langen Eingaben, obwohl das Datenblatt etwas anderes verspricht. Konkret geht es um die Lücke zwischen technischer Kapazität und tatsächlicher Treffsicherheit.
In Benchmarks wie LongBench oder RULER zeigt sich das Muster. Die Trefferquote sinkt, sobald die Dokumente länger werden als das, was das Modell wirklich zuverlässig verarbeiten kann. Besonders kritisch ist die Mitte langer Texte. Modelle verlieren dort relevante Details oder verwechseln sie mit ähnlichen Passagen. Das ist keine neue Erkenntnis, aber sie wird im Marketing gerne verschwiegen.
In der Finanzbranche werden genau solche langen Eingaben zur Normalität. Ein einziger Fondsprospekt hat schnell 300 Seiten. Ein Kreditvertrag mit Anhängen bringt es auf 200 Seiten und mehr. Ein Compliance-Handbuch oder ein Due-Diligence-Report kann 500 Seiten überschreiten. Wer solche Dokumente einem Modell mit Millionen-Token-Kontext übergibt, erwartet vollständige Analyse. Genau diese Erwartung trügt.
Typisches Beispiel: Sie laden einen 400-seitigen Prospekt in ein Tool, das 2 Millionen Token Kontext verspricht. Sie fragen nach den Kosten bei vorzeitiger Kündigung. Das Modell findet eine Klausel auf Seite 12, übersieht aber die Sonderregel auf Seite 310. Sie erhalten eine Antwort, die formal plausibel klingt, aber falsch ist. Häufiges Muster: Die Fehlerquote steigt ab 64k oder 128k Token spürbar an, je nach Modell und Aufgabe.
Warum es jetzt für Finanz-KMU zählt
Die Finanzbranche arbeitet mit Dokumenten, bei denen einzelne Sätze rechtlich oder wirtschaftlich entscheidend sind. Eine übersehene Kostenklausel im Prospekt kann einem Berater eine Falschberatung einbringen. Ein fehlinterpretierter Covenants-Absatz im Kreditvertrag kann eine Finanzierungszusage kippen. Ein übersehener Risikopunkt im Jahresabschluss kann eine Anlageempfehlung verzerren. Die Fehlertoleranz ist hier nicht null, sie ist negativ. Fehler werden teuer.
Viele Finanz-KMU glauben, ein langes Kontextfenster spare ihnen die Datenaufbereitung. Die Logik klingt einfach: Ich lade das ganze Dokument hoch, stelle meine Frage, fertig. Kein Chunking, keine Indexierung, kein Retrieval. Genau diese Bequemlichkeit ist das Problem. Das Modell sieht zwar technisch alle Tokens, aber es gewichtet sie nicht gleich. Relevante Passagen gehen unter.
Aus meiner Sicht ist Kontextlänge ein Verkaufsargument, kein Qualitätsmerkmal. Es beschreibt, wie viel Text ein Modell aufnehmen kann. Es sagt nichts darüber aus, wie zuverlässig es diesen Text auswertet. Die Finanzbranche braucht aber genau diese Zuverlässigkeit. Ein Berater, der einem Kunden eine falsche Kostenquote nennt, kann sich nicht auf eine Marketingfolie berufen.
Regulatorisch wird das noch wichtiger. DORA verlangt robuste IKT-Systeme und klare Verantwortlichkeiten. Der EU-AI-Act stuft viele Finanzanwendungen als hochriskant ein. Wer dort ein Lang-Kontext-Modell ohne zusätzliche Prüfung einsetzt, dokumentiert ein Risiko. Nachvollziehbarkeit heißt: Ich muss zeigen können, auf welcher Textstelle eine Antwort beruht. Ein Modell, das bei langen Dokumenten Passagen überliest, kann das nicht leisten.
Auch für Steuerberater und Wirtschaftsprüfer ist das Thema relevant. Ein Jahresabschluss mit Anhang und Lagebericht ist lang. Ein Prüfungsbericht erst recht. Wer KI für die Belegprüfung oder die Plausibilisierung von Zahlen nutzt, braucht keine Marketing-Kontextlänge, sondern eine belastbare Quellenangabe. Der Unterschied zeigt sich im Haftungsfall.
Was Finanz-KMU jetzt tun sollten
Erstens: Testen Sie mit Ihren eigenen Dokumenten. Nehmen Sie 5 bis 10 reale Prospekte, Verträge oder Kreditakten. Stellen Sie gezielte Fragen, deren Antworten Sie kennen. Messen Sie, wie oft das Modell die richtige Stelle findet und korrekt zitiert. Notieren Sie, ab welcher Dokumentlänge die Trefferquote fällt. Diese Zahl ist Ihr Limit, nicht das Datenblatt des Herstellers.
Zweitens: Setzen Sie auf Retrieval statt auf blindes Lang-Kontext. Zerlegen Sie Dokumente in sinnvolle Abschnitte. Indexieren Sie diese Abschnitte semantisch. Lassen Sie das Modell nur die relevanten Textstellen verarbeiten. Das reduziert die Eingabelänge pro Abfrage drastisch. Es macht die Antwort prüfbar. Es verringert Halluzinationen. Der Aufwand ist überschaubar, der Nutzen bei langen Finanzdokumenten erheblich.
Drittens: Für hochriskante Anwendungen brauchen Sie eine menschliche Freigabe. Das gilt für Kreditentscheidungen, Compliance-Prüfungen, Anlageempfehlungen. Legen Sie fest, ab welcher Dokumentlänge oder welchem Risikograd ein Mensch das Ergebnis gegen die Quelle prüft. Dokumentieren Sie den Prüfschritt. So entsteht ein Audit-Trail, der auch vor Aufsicht und Haftung trägt.
Viertens: Machen Sie Evaluierung zur Daueraufgabe. Ein Modell, das heute bei 200 Seiten gut funktioniert, kann nach einem Update bei 180 Seiten schwächeln. Prüfen Sie regelmäßig mit neuen Testfällen. Nur so behalten Sie den Überblick über die tatsächliche Leistung, nicht über die beworbene.
Mein Rat: Behandeln Sie Kontextlänge als technische Obergrenze, nicht als Versprechen für korrekte Antworten. In der Finanzbranche zählt die richtige Textstelle, nicht die Menge an Text, die Sie ins Modell stopfen können.