Das Grundproblem: Ein LLM-Agent ist kein deterministisches Signal
Der erste Fehler ist der Glaube, ein LLM-Agent sei ein klassisches Handelssignal. Ein klassisches Signal ist deterministisch: gleiche Eingabe, gleiche Regel, gleiches Ergebnis. Ein LLM-Agent ist probabilistisch. Der gleiche Prompt, die gleichen Marktdaten, die gleiche Modellversion können am Morgen eine Kaufempfehlung liefern und am Nachmittag eine Halte-Empfehlung. Das liegt an der stochastischen Dekodierung, an Temperatur, Sampling und internen Zufallsquellen. Für einen Backtest ist das ein Problem. Sharpe-Ratio, Hit-Rate, Drawdown: Diese Metriken setzen voraus, dass eine Strategie reproduzierbar ist. Wenn Sie denselben Backtest fünfmal laufen lassen und fünf verschiedene Equity-Kurven erhalten, welche davon ist die Wahrheit? Aus meiner Sicht keine. Sie messen Rauschen.
Dazu kommt ein struktureller Bias, den man nicht wegoptimieren kann: Temporal Leakage. LLMs werden auf Text trainiert, der einen Cutoff hat. Alles, was nach dem Trainingscutoff passiert ist, kennt das Modell nicht. Klingt sauber. Das Problem: Der Cutoff ist nicht sauber. Trainingsdaten enthalten oft Nachrichten, Analysen, Quartalsberichte mit Veröffentlichungsdatum nach dem Cutoff, weil Quellen im Nachhinein aktualisiert oder referenziert wurden. In der Finanzwelt ist das besonders giftig. Ein Modell, das angeblich nur Daten bis 2023 kennt, kann implizit Wissen über die Zinswende 2022 oder die Bankenkrise 2023 haben, weil diese Ereignisse in späteren Texten erwähnt werden. Dieses Wissen fließt in die Signalgenerierung ein und erzeugt im Backtest eine Trefferquote, die live nicht wiederholbar ist. Die arXiv-Arbeit zu Temporal Leakage bei Finanz-LLMs (arXiv 2608.02985) zeigt genau das: Recency im Trainingscutoff imitiert Skill. Der Bias ist strukturell, weil Sie ihn bei einem vortrainierten Modell nicht entfernen können. Selbst wenn Sie das Modell feintunen, bleibt das Grundwissen erhalten.
Deshalb ist die Walk-Forward-Validierung bei LLMs oft nur Leakage mit anderen Vorzeichen. Ein klassischer Walk-Forward-Test teilt die Zeit in Trainings- und Testfenster und verschiebt das Fenster. Bei einem LLM-Agenten gibt es aber kein sauberes Training auf Preisdaten allein. Das Modell bringt ein statisches Weltwissen mit, das zeitlich nicht sauber abgrenzbar ist. Wenn Ihr Walk-Forward-Fenster 2021 endet, das Modell aber Ereignisse aus 2022 "erahnt", haben Sie keinen echten Out-of-Sample-Test. Sie testen die Fähigkeit des Modells, die Zukunft zu antizipieren, die es eigentlich nicht kennen dürfte.
Warum der Walk-Forward-Test im Backtest glänzt
Jetzt wird es unangenehm. Die meisten LLM-Trading-Agenten glänzen im Backtest, weil drei Fehler systematisch eingebaut sind.
Erstens: Survivorship- und Look-Ahead-Bias in den Datenpipelines. Ein typisches Beispiel: Ein Team baut einen Agenten, der Nachrichten und Sentiment-Scores als Features nutzt. Die Nachrichten kommen aus einem Anbieter, der historische Daten mit einem anderen Index liefert als Live-Daten. Oder die Sentiment-Analyse wird mit einem Modell gemacht, das auf Daten nach dem jeweiligen Zeitpunkt trainiert wurde. Das Ergebnis: Der Agent sieht im Backtest Informationen, die zum Zeitpunkt der Entscheidung noch nicht verfügbar waren. Look-Ahead-Bias. Survivorship-Bias entsteht, wenn man nur Aktien einbezieht, die heute noch existieren, aber nicht die, die während des Testzeitraums delistet wurden oder pleitegingen. Für ein Long-Only-Equity-Modell heißt das: Die Verlierer fehlen, die Gewinner dominieren. Der Backtest wird geschönt.
Zweitens: Overfitting auf Regime. LLMs sind extrem flexibel. Wenn man sie mit genug historischen Daten und Prompts trainiert oder promptet, finden sie Muster, die es nur in einem bestimmten Marktregime gab. 2017 bis 2021 war geprägt von fallenden Zinsen, quantitativer Lockerung und einem starken Bullenmarkt bei Tech-Aktien. Ein LLM-Agent, der in dieser Zeit gelernt hat, "kaufen bei Dip" zu propagieren, wird im Backtest hervorragend abschneiden. 2022 kam die Zinswende, der Nasdaq verlor über 30 Prozent. Derselbe Agent kollabierte. Das ist kein Skill, das ist Regime-Memorization. Der klassische Walk-Forward-Test sollte das erkennen, aber wenn die Fenster zu groß sind oder das Modell durch Temporal Leakage schon weiß, wann das Regime wechselt, tut es das nicht.
Drittens: Metric-Gaming. Wenn ein Team einen Agenten baut, optimiert es auf eine Kennzahl: Sharpe-Ratio, Profit-Faktor, maximale Drawdown. Prompts werden wie Hyperparameter behandelt. Man probiert 50 verschiedene System-Prompts, 20 verschiedene Temperaturwerte, 10 verschiedene Datenfrequenzen. Am Ende wählt man die Kombination, die den besten Backtest liefert. Das ist klassisches Overfitting auf die Testdaten. Die Kennzahl wird zum Ziel, nicht die ökonomische Robustheit. Der Agent ist dann kein Marktmodell, sondern ein Artefakt der Optimierung.
Der vierte Fallstrick betrifft speziell Prop-Trading-Desks. Evaluierungsregeln wie Daily-Loss-Limits, Trailing-Drawdown oder Konsistenzanforderungen werden im Backtest weich modelliert. Sie testen mit täglichen Daten, aber die Prop-Firma bewertet auf Tick-Basis. Oder Sie ignorieren, dass bei einem Trailing-Drawdown der maximale Verlust ab einem Hochpunkt berechnet wird, nicht ab dem Startkapital. Im Backtest stehen die Regeln oft nur als grobe Zusatzbedingungen, nicht als harte Constraints. Ein Agent, der im Backtest nie den Drawdown-Limit verletzt, kann live beim ersten schlechten Trade rausgekickt werden, weil die Regel feiner greift.
Warum er live scheitert: Die vier Live-Realitäten
Wenn ein solcher Agent live geht, treffen ihn vier Realitäten, die im Backtest fehlen.
Die erste Live-Realität ist Execution-Slippage. Ein LLM-Agent erzeugt Texte, die in Orders übersetzt werden müssen. Zwischen Signalgenerierung und Orderausführung liegen Sekunden bis Minuten. In dieser Zeit bewegt sich der Markt. Spreads weiten sich in volatilen Phasen. Latenz bei der Datenanbindung, der LLM-Inferenz und der Order-Routing-Infrastruktur summieren sich. Ein Backtest, der zum Schlusskurs des Tages kauft, unterstellt Fill-Preise, die es so nicht gibt. In illiquiden Instrumenten ist der Unterschied zwischen Geld- und Briefkurs oft größer als die erwartete Tagesrendite des Modells. Häufiges Muster: Ein Agent, der im Backtest 2 Prozent pro Monat macht, verliert live 1 Prozent allein durch Slippage und Gebühren.
Die zweite Live-Realität ist der Regimewechsel. Märkte sind nicht stationär. Ein LLM-Agent, der auf historischen Mustern trainiert wurde, kennt nur Korrelationen aus der Vergangenheit. Was im Backtest als diversifiziertes Portfolio aus Aktien, Anleihen und Rohstoffen aussah, kann in einem Stressregime plötzlich gleichlaufen. 2022 fielen Aktien und Anleihen gleichzeitig. Ein Agent, der auf negative Korrelation setzte, verlor auf beiden Seiten. Der Backtest mit Daten bis 2021 konnte das nicht zeigen, weil dieses Regime in den Trainingsdaten nicht vorkam. Oder nur schwach. LLMs generalisieren aus dem Gelernten, aber nicht immer in die richtige Richtung.
Die dritte Live-Realität betrifft Funding, Margin und Hebel. Prop-Trading-Desks handeln oft mit Hebel. Die Margin-Anforderungen können sich intraday ändern, besonders bei News oder erhöhter Volatilität. Ein Backtest, der mit konstantem Hebel rechnet, ignoriert Margin-Calls und erzwungene Liquidierungen. Auch das Funding-Modell der Prop-Firma spielt eine Rolle: Wenn Sie eine Challenge bestehen müssen, handeln Sie anders als mit eigenem Geld. Die psychologische Komponente kann ein LLM-Agent nicht abbilden, aber die mechanischen Konsequenzen wie automatische Positionsschließungen schon.
Die vierte Live-Realität ist die Nicht-Stationarität der Trainingsdaten. Das Modell wurde auf einem Datenkorpus trainiert, der einen bestimmten Zeitraum abdeckt. Die Marktmechanik von morgen ist eine andere. Neue Instrumente, neue Regulierungen, neue Marktteilnehmer, geopolitische Brüche. Der LLM-Agent kennt den Markt von gestern, nicht den Mechanismus von morgen. In der Praxis bedeutet das: Die Fehlerquote steigt mit der zeitlichen Entfernung vom Trainingsende. Live-Performance driftet nach unten, auch wenn der Backtest noch so gut war.
Was stattdessen funktioniert: Evaluationsrahmen für LLM-Trading-Agenten
Der klassische Backtest als Beweis ist tot. Aber wie evaluiert man dann einen LLM-Trading-Agenten? Aus meiner Sicht braucht es einen anderen Rahmen, der die besonderen Eigenschaften von LLMs ernst nimmt.
Mindestanforderung: Point-in-Time-Daten und reproduzierbare Snapshots. Sie müssen sicherstellen, dass jede Information, die der Agent im Backtest sieht, exakt zu dem Zeitpunkt verfügbar war, zu dem sie verwendet wurde. Dazu brauchen Sie einen Datenbestand, der historische Stände speichert: Kurse, Nachrichten, Fundamentaldaten, Sentiment-Scores, alles mit Zeitstempel und ohne spätere Korrekturen. Für LLMs bedeutet das auch: Sie müssen das Modell selbst einfrieren. Modell-Updates verändern das Verhalten. Nur wenn Sie eine feste Modellversion, feste Prompts und feste Daten verwenden, können Sie Ergebnisse reproduzieren. Reproduzierbarkeit ist die Voraussetzung für jede Messung.
Der Primärnachweis sollte Shadow-Mode oder Paper-Forward-Test sein, nicht der Backtest-Beweis. Ein Shadow-Mode bedeutet: Der Agent läuft parallel zum Live-Markt, generiert Signale, aber es werden keine echten Orders platziert. Das ist ein echter Vorwärtstest, weil der Agent Entscheidungen unter den gleichen Bedingungen trifft wie live: mit aktuellen Daten, ohne Wissen über die Zukunft, mit der realen Latenz und den realen Spreads. Nach 30, 60 oder 90 Tagen haben Sie eine belastbare Stichprobe. Das ist kein Ersatz für einen langen Backtest, aber es ist der einzige Weg, die Live-Fähigkeit zu prüfen, bevor Sie echtes Geld riskieren.
Zusätzlich brauchen Sie Regime-Stress-Slices. Testen Sie den Agenten explizit in verschiedenen Marktphasen: Krise, Zinswende, Liquiditätsengpass, Hochvolatilität. Ein typisches Beispiel: Nehmen Sie Daten aus dem März 2020 (COVID-Crash), aus dem Oktober 2022 (Zinsanstieg) und aus einem ruhigen Bullenjahr. Lassen Sie den Agenten auf jedem Slice separat laufen. Wenn er nur im Bullenmarkt funktioniert und in der Krise explodiert, ist er kein robustes System. Diese Tests sind wichtiger als der aggregierte Sharpe-Ratio über den gesamten Zeitraum.
Statt einer Einzelmetrik brauchen Sie eine Scorecard. Messen Sie Stabilität über Seeds, Prompt-Varianten und Zeitfenster. Lassen Sie denselben Backtest mit verschiedenen Seed-Werten laufen, um die Varianz zu sehen. Ändern Sie nur die Temperatur oder den System-Prompt leicht und prüfen Sie, ob die Ergebnisse ähnlich bleiben. Ein LLM-Agent, der bei minimalen Prompt-Änderungen von profitabel auf unprofitabel kippt, ist nicht robust. Die Scorecard sollte mindestens folgende Dimensionen abdecken: Median-Rendite, Streuung der Renditen, maximale Drawdown-Verteilung, Trefferquote, Profit-Faktor, aber auch qualitative Punkte wie Erklärbarkeit der Signale.
Und zuletzt: Kostenmodell first. Slippage- und Fee-Sensitivität sind Pflicht-Szenarien, keine optionalen Zusatzrechnungen. Legen Sie von Anfang an realistische Annahmen für Spread, Kommission, Slippage und Latenz fest. Testen Sie den Agenten mit optimistischen, realistischen und pessimistischen Kostenannahmen. Wenn die Strategie nur bei Null-Kosten funktioniert, ist sie keine Strategie, sondern ein Rechenfehler.
Praktische Checkliste für Quant-Desks
Zum Schluss eine pragmatische Checkliste für Teams, die LLM-Trading-Agenten evaluieren oder bauen.
Erstens: Lesen Sie jeden Backtest-Report kritisch. Welche Zahlen sind belastbar, welche sind Marketing? Fragen Sie nach dem Daten-Provider, dem Zeitstempel, dem Survivorship-Bias, dem Look-Ahead-Bias. Fragen Sie nach der Modellversion, den Prompts, den Seeds. Wenn diese Angaben fehlen oder ausweichend beantwortet werden, ist der Report wertlos. Ein belastbarer Backtest dokumentiert alle Annahmen und liefert reproduzierbare Artefakte.
Zweitens: Red Flags in Vendor- und Tool-Pitches. Wenn jemand sagt, "AI backtestet in Plain English", ist Vorsicht geboten. Ein Tool, das verspricht, aus einer Beschreibung automatisch einen Backtest zu generieren, abstrahiert genau die kritischen Details: Kosten, Slippage, Datenqualität, Regime. Die Magie liegt in der Abstraktion, aber das Risiko liegt im Detail. Fragen Sie nach den Standardannahmen des Tools. In den meisten Fällen sind die zu optimistisch.
Drittens: Wann ist ein LLM-Agent als Signal-Generator sinnvoll, wann nur als Research-Werkzeug? Aus meiner Sicht eignen sich LLMs heute gut für Research-Automation: Zusammenfassung von Nachrichten, Extraktion von Ereignissen, Generierung von Marktkommentaren, Ideenfindung. Als eigenständiger Signal-Generator, der autonom handelt, sind sie nur bedingt geeignet. Wenn sie eingesetzt werden, dann als eine Komponente neben klassischen quantitativen Modellen, mit engen Limiten und menschlicher Überwachung. Ein LLM, das allein auf Basis von Nachrichten handelt, ist ein Zocker. Ein LLM, das einem Quant-Modell die Nachrichtenlage zusammenfasst, ist ein Werkzeug.
Viertens: Konkrete nächste Schritte für ein Prop-Desk. Starten Sie mit einem 30-Tage-Forward-Test-Protokoll. Definieren Sie ein Instrumentarium, ein Zeitfenster, ein Risikobudget. Lassen Sie den Agenten Signale generieren, zeichnen Sie jede Empfehlung auf. Simulieren Sie die Ausführung mit realistischen Kosten. Am Ende der 30 Tage bewerten Sie die Scorecard. Erst wenn die Ergebnisse belastbar sind und die Regeln eingehalten wurden, reden wir über einen Live-Test mit Minimalgröße. Dieser Prozess kostet Zeit, aber er kostet weniger als ein gescheiterter Live-Start.
Mein Fazit: LLM-Trading-Agenten sind faszinierend, aber sie sind keine Backtest-Maschinen. Wer sie mit klassischen Methoden evaluiert, wird belogen. Die einzige ehrliche Methode ist der Vorwärtstest unter Live-Bedingungen. Alles andere ist eine Simulation mit eingebautem Blick in die Zukunft.