DVOA, EPA, SR%, QBR – whut? Die wichtigsten American-Football Metriken erklärt

American Football ist eine Sportart von kurzen Spielzügen, die sich in endlosem Zahlenmaterial quantifizieren lassen. Entsprechend war der Football schon vor Jahrzehnten eine Sportart, die von recht breitem Zahlenmaterial beschrieben wurde.

Über die Jahrzehnte entwickelten sich einige Metriken zu den dominierenden in der landläufigen Analyse – doch es sind nicht unbedingt die besten, die sich durchgesetzt haben.

Heute werfen wir mal den Blick auf ein paar dieser traditionellen Metriken – und dann folgt eine Beschreibung einiger „neuer“ Metriken, die in den letzten 15 Jahren aufgekommen sind und das Spiel bedeutend besser beschreiben können.

NB: Was folgt, ist keine vollständige Aufzählung. Es ist schlicht ein Blick auf einige wichtige, auch auf diesem Blog öfters diskutierte Statistiken im NFL-Umfeld.

Bekannte Statistiken aus dem TV

Haken wir kurz die Zahlen ab, die der landläufige Footballfan am TV-Schirm präsentiert bekommen:

Total Yards = Der Raumgewinn zusammengezählt über alle Spielzüge. In TV-Übertragungen eine häufig eingeblendete Zahl, doch sie ist völlig wertlos.

Yards/Play = Yards pro Spielzug. Schon wesentlich wertvoller: Total Yards relativ zur Anzahl der Spielzüge (anpassbar in Yards/Pass oder Yards/Lauf).

Passer-Rating = Seit 1973 die offizielle Metrik der NFL in der Bewertung der Quarterbacks. Man kann nicht oft genug davor warnen, diese Metrik ernst zu nehmen. Nicht bloß sind ihre Parameter willkürlich und redundant, sondern auch ohne Berücksichtigung des Laufspiels. Die Formel zur Berechnung kann man auf der Wikipedia nachlesen.

Completion-Rate = Die Rate an vervollständigten Pässen einer Mannschaft oder eines QBs.

Interceptions und Touchdowns = nackte Anzahl an Interceptions und Touchdowns. Früher habe ich diese beiden Zahlen geliebt. Heute schaue ich sie kaum mehr an, denn sie bieten weder Kontext noch sind sie besonders aussagekräftig mit Blick nach vorn.

Advanced Metrics

DVOA – Eine der am öftesten zitierten Metriken in der Footballwelt ist das Akronym für „Defense-Adjusted Value Over Average“ – kurz DVOA. Es ist eine Metrik, die Aaron Schatz von Football-Outsiders vor mehr als 15 Jahren entwickelt hat.

Kurz zusammengefasst nimmt DVOA jeden einzelnen Spielzug, bewertet seinen Erfolg und gewichtet ihn gegen die Qualität der gegnerischen Defense. DVOA wird in Prozenten ausgedrückt: Ein Spielzug, der 30% höheren Erfolg eingebracht hat als ein durchschnittlicher Spielzug, bekommt VOA (Value over Average, also der nicht an die Defense angepasste Wert) von 30%. Nach Anpassung an Defense, also DVOA, kann der Wert dann am Ende etwas höher oder niedriger sein. Negative Spielzüge bekommen negativen DVOA-Wert.

Ein Beispiel: Ein Quarterback kann einen Fumble produzieren. DVOA straft den QB nur bis zum Zeitpunkt des Fumbles ab. Ob das Resultat nun eine Fumble-Recovery der Offense oder Defense war, ist für DVOA nicht relevant, da die Fumble-Recovery in der NFL ein 50/50 Play, also quasi reiner Zufall ist.

Der Wert wird von Football-Outsiders für Offense (ODVOA = Offensive DVOA) und Defense (DDVOA = Defensive DVOA) gerechnet. Die Namensgebung für die Defense ist dabei etwas irreführend, denn eigentlich müsste es Offense-adjusted Value over Average lauten.

DVOA gilt in vielen Kreisen nach wie vor als Nonplusultra – Leute wie Mike Tanier oder auch Bill Barnwell schwören darauf. Doch während diese beiden wissen wie der Wert errechnet ist, hat DVOA ein grundsätzliches Problem: Die genaue Formel ist uns Normalsterblichen nicht bekannt. Es gibt zwar öffentliche Erklärungen, wie DVOA gerechnet wird, doch das Ergebnis lässt sich nicht replizieren. Ob das aufgrund von Schatz‘ zusätzlichem Game-Charting ist oder aufgrund weiterer nicht bekannter Faktoren, ist nicht ganz klar.

---

EPA – Weil dem so ist, kommt in der Analytics-Welt immer stärker ein anderer Wert auf: EPA – die Abkürzung für „Expected Points Added“. Das genau Konzept für EPA zu erklären, würde viele Seiten verschlingen, daher an dieser Stelle nur eine kurze Erklärung.

Die Grundidee ist ähnlich wie hinter dem DVOA: Jede Spielsituation am Spielfeld hat einen bestimmten Erwartungswert an Punkten zum Ende des jeweiligen Drives, und jeder Spielzug trägt positiv oder negativ zur Erhöhung des Punktewerts bei. Es handelt sich beim EPA-Modell also um „virtuelle Punkte“.

Wo im reellen Leben eine Offense bei 1st & Goal noch gar nix erreicht hat, weil erst mit dem Überqueren der Goal Line die 6 Punkte für den TD vergeben werden, zählt das EPA-Modell Play für Play den erwarteten Gewinn an Punkten dazu.

z.B. ist ein 1st & 10 an der eigenen 15 Yards Line in etwa der Punkt, an dem eine Offense für den aktuellen Drive null Punkte erwarten kann. Der EP (expected points) Wert an dieser Stelle ist also 0.00.

Ein 1st & Goal an der gegnerischen 1 dagegen kommt einem fast sicheren TD gleich – also hat die Offense an dem Zeitpunkt bereits virtuell fast alle 7 Punkte gesammelt. Der Touchdown-Scorer bekommt nur noch wenig „Credit“ für den einfachen Run gutgeschrieben.

Und so addiert EPA Spielzug für Spielzug den Gewinn an virtuellen Punkten für die Offense und versucht somit besser zu messen, welche Spielzüge / Spieler mehr oder weniger zum Punktezuwachs der Mannschaft beitragen.

Das Modell gibt es in verschiedenen Ausprägungen: EPA wird auf Basis von historischen Daten gerechnet, in das Modell eingespeist und mit Markov-Ketten gerechnet. Welchen Zeitraum an Daten man dabei einfließen lässt, ist der Interpretation des Analysten überlassen. Brian Burke war nicht der Erfinder des Modells, doch er hat vor rund 12 Jahren zum ersten Mal en detail erklärt, wie er sein Modell aufgesetzt hat (hier seine Erklärung / hier ESPN).

Die aktuell bei Twitter kursierenden EPA-Zahlen kommen fast immer for free von den Studenten um Maksim Horowitz und Ron Yurko. Sie haben ihre EPA-Interpretation en detail in einer Präsentation geschildert.

Weitere Vorteile von EPA:

• Es gibt einem Raumgewinn Kontext: Ein 7-yds Play bei 2nd&5 ist wesentlich mehr wert als ein 10yds-Play bei 3rd & 15.
• Es ist einfach interpretierbar: Jeder versteht, was 6.5 Points Added pro Spiel bedeutet.
• Es lässt sich einfach als „Rate-Statistik“ anwenden: EPA/Spielzug, EPA/Pass, EPA/Run usw.

---

Success Rate (SR%) – Mit EPA verknüpft ist die Metrik „Success-Rate“, häufig abgekürzt durch das Kürzel SR% – die Erfolgsquote von Spielzügen ausgedrückt in Prozent. Die Success-Rate ist relativ einfach erklärt: Die Quote an Spielzügen, die für die Offense (oder Defense) als Erfolg zu werten sind. Es ist damit die binäre Schwarz/Weiß Betrachtung. Ein positiver Spielzug ist 1, ein negativer 0.

Wichtig anzumerken: Wie bei EPA gibt es unterschiedliche Herangehensweisen an die Success-Rate. Football Outsiders oder Warren Sharp z.B. nutzen eine auf Yards basierte Berechnung: „Wenn du im 1st Down und 2nd Down mindestens 50% an Yards zurücklegst, ist es ein Erfolg. Im 3rd und 4th Down zählen nur Conversions als Erfolg.“

Andere Interpretationen von Success-Rate gehen mit EPA einher: Nur Spielzüge, die positive EPA erzielt haben, werden als Erfolg gewertet.

Auf dem hiesigen Sideline Reporter Blog z.B. habe ich in den letzten Jahren eine Mischformel verwendet: In 1st und 2nd Down zählt nur positive EPA, im 3rd und 4th Down nur Conversions. Du meinst das ist doch logisch? Nun – Offenses sind mittlerweile so explosiv, dass eine reine Conversion z.B. in 3rd & short noch immer negative EPA hervorrufen kann – z.B. weil die Offenses im Schnitt in 3rd&2 weit mehr als die zwei notwendigen Yards machen!

---

WAR – Eine Metrik, die weniger mit Krieg zu tun hat als mit dem Versuch, den Anteil an der Siegbilanz von einzelnen Spielern zu messen. WAR ist das Akronym für „Wins above Replacement“, also die Anzahl der Siege, die ein NFL-Spieler verglichen mit einem Ersatzspieler im Practice-Squad einer NFL-Mannschaft gebracht hat.

---

WPA – Win Probability Added. Eine von Brian Burke vor Jahren kultivierte Statistik, die als Erweiterung von EPA gilt. Anhand der Win-Probability (Sieg-Wahrscheinlichkeit) versucht man abzuschätzen, zu welchem Zeitpunkt im Spiel eine Mannschaft welche Chance auf den Gewinn der Partie hatte.

Jeder Spielzug leistet einen positiven oder negativen Beitrag zur Erhöhung dieser Siegchance – und über alle Spielzüge zusammengezählt ergibt das die „Win Probability Added“. Naturgemäß sind dabei Spielzüge in der Crunch-Time wichtiger als im ersten oder zweiten Viertel, denn ein einzelner Spielzug in der letzten Minute eines Drei-Punkte-Spiels mag vielleicht wenig EPA beitragen, doch er kann über Sieg und Niederlage entscheiden.

Man kann also sagen: Wo EPA die „Performance“ eines Spielzugs misst, bewertet WPA dessen „Clutchiness“. Weil wir wissen, dass „Clutchiness“ kein überaus stabiler Faktor ist, eignet sich WPA für gewöhnlich auch weniger für die Vorhersage zukünftiger Ereignisse.

WPA ist auf der anderen Seite auch ein Konzept, das nie stimmig sein wird. Verschiedene Herangehensweisen an das Problem führen zu unterschiedlichen Resultaten. Am besten nutzt man WPA deshalb dazu, in-Game Entscheidungen von Headcoaches zu bewerten.

Pass-Metriken und Quarterback-Metriken

NY/A – die wichtigste der „einfachen“ Pass-Metriken. NY/A ist „Net Yards per Attempt“. Netto-Passyards pro Passspielzug. Die Formel dabei ist simpel: Total Yards durch Completions minus durch Sacks verlorene Yards geteilt durch die Anzahl der Pässe plus Sacks. Für mich bleibt NY/A die Pass-Kennzahl schlechthin: Sie ist einfach, stabil und aussagekräftig.

Das heißt: Sie ist transparent für jeden nachvollziehbar, korreliert gut mit sich selbst und korreliert gut mit künftigen Siegen.

---

ANY/A – Adjusted Net Yards per Attempt. Diese Formel korreliert besonders gut mit Sieg und Niederlage. Sie ist eine simple Erweiterung der NY/A, indem man pro Touchdown 20 Yards addiert und pro Interception 45 Yards abzieht.

Der ANY/A eignet sich besonders gut um vergangene Ergebnisse und Leistungen in Kontext zu setzen, aber weniger gut um künftige Ergebnisse vorherzusagen.

Abgespeckte Versionen dieser beiden Kennzahlen sind Y/A (Yards per Attempt) und AY/A (Adjusted Yards pro Attempt). Bei beiden Kennzahlen werden ganz einfach die Sacks nicht mit berücksichtigt. Weil jedoch grob folgende Daumenregel gilt…

• Offensive Line kontrolliert QB-Pressures
• Quarterback kontrolliert Sacks

…bevorzuge ich eindeutig, die Sacks als nicht so seltene Resultate von Spielzügen mit einzubeziehen.

---

TAY/Play – Total Adjusted Yards pro Spielzug. TAY wurde vor einigen Jahren auf Blogs wie Football Perspective publiziert und ist eine Weiterentwicklung zu ANY/A, weil es u.a. auch das Laufspiel und die Conversions zu neuen 1st Downs mit einrechnet.

Die genaue Formel ist auf diesem Blogeintrag publiziert. Jeder kann die Werte problemlos nachrechnen.

---

Total QBR von ESPN. Das Quarterback-Rating von ESPN. In den letzten Jahren aggressiv von ESPN promotet und daher auch auf vielen Portalen immer wieder zitiert, versucht das QBR anhand mehrerer Faktoren wie EPA, aber auch Performance in der Crunch-Time, Quarterbacks möglichst losgelöst von seinen Mitspielern zu bewerten. Wichtig dabei: Es bewertet im Gegensatz zum Passer-Rating auch die Rushing-Performance eines QBs.

Die genaue Methode ist auch ESPNs Seite publiziert, doch der Algorithmus bleibt eine undurchsichtige Black-Box. Das ist auch der größte Kritikpunkt am QBR: Es ist zwar eine eindeutige Verbesserung zum wirklich miesen Passer-Rating, doch sein Zustandekommen ist nicht transparent.

---

Air Yards – Die Summe an Pass-Yards, die der Ball durch die Luft fliegt. Im Prinzip wird die Distanz des Pass-Targets von der Line of Scrimmage gemessen. Spieler hinter der Line of Scrimmage haben negative Air-Yards.

---

CPOE – Completion Rate over Expectation. Es ist eine Erweiterung der Completion-Rate, in dem man versucht, sie in Relation mit dem Schwierigkeitsgrad der Pässe zu setzen. Es gibt hierbei unterschiedliche Herangehensweisen an CPOE:

• Relativ zu den Air-Yards (v.a. bei Josh Hermsmeyer)
• Relativ zur Tiefe der Würfe und der Distanz des Receivers zu Cornerbacks im Moment des Anspiels (NFL Tracking-Daten bei Next Gen NFL Stats)