Die fünf „Übel“
Zunächst fasst de Prado die fünf großen Probleme zusammen, mit denen sich Quants herumschlagen müssen. Für diese gibt es keine endgültige Lösung, und man kann ihnen auch nicht aus dem Weg gehen. Stattdessen muss man lernen, bestmöglich mit ihnen zurecht zu kommen.
1) Schranken für Experimente:
Ein grundlegendes Prinzip der Wissenschaft ist die empirische Falsifikation. In den Naturwissenschaften wird dies durch kontrollierte Experimente ermöglicht. In der Finanzindustrie ist das aber in den seltensten Fällen möglich. Denn wir können nicht etwa den Flash Crash vom Jahr 2010 wiederholen und dabei den Einfluss bestimmter Gruppen von Marktteilnehmern ausblenden, da diese interagieren. Deshalb ist es sehr schwierig, klare Zusammenhänge zwischen Ursache und Wirkung zu bestimmen.
2) Nichtstationarität der Finanzmärkte:
Zum einen gibt es Strukturbrüche, die durch regulatorische Änderungen oder unvorhersehbare Ereignisse (Schwarze Schwäne) entstehen. Zum anderen können Parameter, die den grundlegenden Prozess zur Generierung der Kursdaten betreffen, einem Drift unterliegen, zum Beispiel durch den Wettbewerb der Unternehmen. Selbst dann, wenn Zusammenhänge zwischen Ursache und Wirkung festgestellt werden, kann sich deren Intensität also im Lauf der Zeit erheblich verändern.
In diesem Beispiel kommt es nach 250 Beobachtungen mit einer Wahrscheinlichkeit von 50 Prozent zu einem Strukturbruch. Anschließend ergeben sich entweder die grünen oder die roten Verläufe. Das Problem besteht darin, den Bruch so schnell, aber auch so sicher wie möglich zu erkennen.
Quelle: de Prado, M. L. (2021), Escaping The Sisyphean Trap: How Quants Can Achieve Their Full Potential, S. 9
3) Rigoroser Wettbewerb (Nullsummenspiel):
Der harte Wettbewerb unter den Marktteilnehmern verschlechtert das Verhältnis von tatsächlichem Signal zu bloßem Rauschen. Die Wahrscheinlichkeit, profitable Strategien zu finden, ist deshalb äußerst gering. Und falls man doch Alpha entdeckt, ist es in den meisten Fällen nur begrenzt skalierbar und/oder schnell rückläufig. Das zeigt sich auch daran, dass die Veröffentlichung von Forschungsergebnissen deren künftige Validität beeinflusst.
Angenommen die Wahrscheinlichkeit, dass eine getestete Strategie profitabel ist, beträgt ein Prozent. Bei der üblichen, in Signifikanztests verwendeten Schwelle von fünf Prozent sowie einer (optimistischen) statistischen Power von 80 Prozent ist zu erwarten, dass man bei 1000 Versuchen insgesamt 58 Entdeckungen macht. Davon wären acht richtig-positive und 50 falsch-positive Ergebnisse. Mit anderen Worten: Rund 86 Prozent wären falsch!
Quelle: de Prado, M. L. (2021), Escaping The Sisyphean Trap: How Quants Can Achieve Their Full Potential, S. 10
4) Komplexität des Systems:
Die Ökonometrie wurde entwickelt, um relativ einfache Prozesse zu modellieren. Sie setzt voraus, dass man die prädiktiven Variablen und die Funktionsform einschließlich aller Interaktionseffekte kennt. Ist das nicht der Fall oder ist die Funktion nicht korrekt, können echte prädiktive Variablen als falsch-negativ abgelehnt und falsche als falsch-positiv akzeptiert werden. Die (angebliche) Kenntnis der Funktion sollte deshalb nicht vorausgesetzt werden. Denn diese kann in Wahrheit hochdimensional sein – oder sogar unmöglich zu ermitteln.
5) Kleine Stichproben:
Finanzdaten sind oft kurze Zeitreihen mit wenigen Variablen und hohen gegenseitigen sowie seriellen Abhängigkeiten. Deshalb werden häufig Schlussfolgerungen aus kleinen Stichproben gezogen, was mit starkem Overfitting von Trainings- und Testdaten einhergeht. Und das bedeutet, dass statistische Tests bei den standardmäßig verwendeten Konfidenzniveaus eine geringe Aussagekraft, einen hohen Anteil falsch-negativer Ergebnisse sowie viele falsche Entdeckungen aufweisen. Als Beispiel dafür nennt der Kapitalmarktprofi Mark Rzepczynski die unzähligen Konjunkturanalysen, die weitgehend nur auf acht solchen Zyklen seit 1970 basieren. Wie signifikant können diese Untersuchungen wirklich sein? [2]
Problematische Strukturen
Traditionelle Asset Manager setzen oft auf kleine, unabhängige Quant Teams, die nicht zusammenarbeiten, sondern um die Allokation von Kapital konkurrieren. Das Ziel dabei ist, durch Wettbewerb eine Diversifikation zu erreichen. Allerdings leidet diese Struktur unter verschiedenen Problemen:
- mangelnde Forschungstiefe, da Teams meist aus Generalisten bestehen
- nicht wiederverwendbares Wissen, wenn das geistige Eigentum den Teams gehört
- keine Mechanismen zur Selbstkorrektur wegen fehlender Zusammenarbeit
- Anreize für falsch-positive Ergebnisse infolge des Wettbewerbs
Die Schlussfolgerung daraus ist, dass klassische Silo-Strukturen bzw. Plattformen für wissenschaftliche Talente nicht optimal sind, da sie das Potenzial der Quant Teams einschränken.
Sisyphus-Arbeit
In der Folge kann es passieren, dass solche Teams immer wiederkehrende, sinnlose Aufgaben wie bloßes Backtesting ausführen, die zu einem endlosen Kreislauf falscher Entdeckungen führen. Ein guter Vergleich dazu ist die Sisyphusarbeit, die einer Sage der griechischen Mythologie entstammt. Damit ist eine Arbeit gemeint, die nicht nur ertragslos und schwer ist, sondern auch niemals erledigt sein wird, da man immer wieder von vorne anfangen muss. [3]
Um bestmöglich mit den fünf Übeln der Finanzmarktforschung zurechtzukommen, sind de Prado zufolge Co-spezialisierte Teams erforderlich. Eine Arbeitsteilung ist dabei essenziell, um die in wissenschaftlichen Methoden verankerten Kontrollmechanismen wie etwa Peer Review und empirische Falsifikation umzusetzen. Wie sieht also sein Lösungsvorschlag aus?
