Power Ranking Beitragsbild

NFL Power Ranking 2019 – Erstausgabe

Debüt fürs Power Ranking 2019 – in neuer Aufmachung!

Willkommen zur Erstausgabe des Power-Rankings 2019. Ich poste hier mal einen noch nicht allzu stark getesteten Prototypen eines neuen Rankings, das nicht mehr nach den altbekannten Regeln aus den letzten Jahren erstellt wurde.

Der Grund ist einfach: Mittlerweile sind dank des nflscrapR-Packages seit rund eineinhalb Jahren gute Daten an Expected Points Added (EPA) öffentlich und for free verfügbar. Ich verwende diese Daten schon seit geraumer Zeit für diverse Auswertungen. Sie sind eine deutliche Weiterentwicklung zu dem Expected-Points Modell, das ich selbst vor sechs oder sieben Jahren entwickelt habe.

EPA dürfte auf diesem Blog mittlerweile ein bekannter Begriff sein. In aller Kürze: EPA gibt jeder Spielsituation eine „virtuelle Punktzahl“ – einen Erwartungswert an Punkten, den Teams historisch aus einer solchen Spielsituation gezogen haben. EPA ist dabei nicht an den Spielstand gebunden. Verbinden wir EPA mit Spielstand und Zeitpunkt, so haben wir WPA (Win Probability Expected).

EPA hat gegenüber den verwendeten Metriken in den letzten Jahren einige entscheidende Vorteile:

  1. Es korreliert besser mit Sieg und Niederlage als NY/A und Success-Rate
  2. Es ist auch besser darin, sich selbst zu prognostizieren als NY/A und Success-Rate
  3. Und noch mehr: EPA ist sogar besser darin, NY/A und Success-Rate zu prognostizieren als NY/A und Success-Rate!

Das Thema EPA könnte man noch extrem vertiefen – und ich werde das vielleicht auch irgendwann tun, aber momentan habe ich keine Zeit dafür, also lass uns mal ganz kurz in das Power-Ranking 2019 einsteigen.

Im Prinzip habe ich zwei wesentliche Kennzahlen: Offensive EPA/Play und Defensive EPA/Play. In der Zusammenstellung dieser Kennzahlen gibt es ein paar Schwierigkeiten, die ich noch nicht zur Gänze gelöst habe.

So sind die Daten im nflscrapR Package nicht ganz sauber. Vor allem bei Penaltys ist erhebliche Nacharbeit in der Aufbereitung notwendig.

Ich habe mich zu folgendem, auch auf viele Twitterseiten bekannten Weg entschieden: Als „Passspiel“ werden alle Pässe und Sacks ohne QB-Spikes gekennzeichnet, dazu alle QB-Scrambles (also nicht-designte QB-Runs) und alle eindeutig dem Passspiel zuordenbaren Penaltys (z.B. Defensive Holding, Defensive Pass-Interference, Offensive Holding bei Dropbacks, Roughing the Passer usw.). „Passspiel“ ist also alles was mit einem „Dropback“ beginnt.

Laufspiel hingegen sind alle konventionellen Läufe, alle designten QB-Runs und alle eindeutig dem Laufspiel zuordenbaren Penaltys (z.B. Offensive Holding).

Neutral der Offense zugeordnet habe ich Penaltys wie False-Start, Illegal Motion, Illegal Shifts oder Delay of Game.

Neutral der Defense zugeordnet habe ich Strafen wie 12 Men on the Field, Encroachment, Offside, Defensive Delay of Game oder Personal Fouls.

Ich korreliere EPA/Play mit Sieg und Niederlage und schaue, wie gut es künftige Ereignisse prophezeit. Beispiel hier: Offensive EPA/Play ist in etwa doppelt so stabil wie Defensive EPA/Play. Aus der erwarteten Sieg-Wahrscheinlichkeit auf Basis von EPA errechne ich die schon aus den letzten Jahren bekannten Power-Ranking Werte.

Der einer Mannschaft zugeordnete Power-Ranking Wert ist als „Sieg-Wahrscheinlichkeit der Mannschaft gegen ein durchschnittliches NFL-Team auf neutralem Platz“ zu interpretieren.

Kurios an diesem Modell: Sobald ich EPA an den Schedule adjuste, lässt die Performance des Modells nach. „Raw EPA“ ist besser als „schedule-adjusted EPA“! Das gilt für verschiedene Methoden des Schedule-Adjustens. Das hat zumindest mich überrascht – aber es scheint besseren Data-Analysten wie mir schon länger bekannt zu sein.

Auch überraschend: EPA ist besser, wenn man alle Plays, auch die Garbage-Time, mit reinnimmt! Sample-Size ist King. Mehr Plays sind mehr Information – und Information über Performance in der Garbage-Time, wenn schon alles entschieden ist, ist wertvoller als keine Information. Auch hier: Das hatte ich mit Success-Rates usw. nicht.

Kleine Einschränkung: Ich limitierte in meinem Sample den negativen Impact von Turnovers auf maximal -4.5 EPA für ein Play. Das verbessert die Präzision des Modells ein wenig. Genauere Studien dazu habe ich noch nicht gemacht.

Nachfolgend das Resultat meines Prototyps – alle Plays inklusive Garbage Time aus Offense und Defense, und nur minimale Schedule-Anpassung. Aufgrund des kleinen Sample-Sizes rühren rund 30% der Team-Performance noch aus der letzten Saison mit kleinen Adjustments.

NFL Power Ranking 2019 - Woche 6

NB: WP% ist die erwartete Sieg-Wahrscheinlichkeit gegen ein durchschnittliches Team auf neutralem Platz. Wins ist WP% x 16. OFF und DEF sind das Ranking der Teams in Offense und Defense (inklusive zuweisbare Penaltys). Hinten habe ich den Schedule drangehängt: Der bisher gespielte (past), und der zukünftige (future). Dabei gibt es keine Unterscheidung zwischen Heim- und Auswärtsspiel.

Was sehen wir?

Die Patriots führen – wie in DVOA. Die 49ers, in DVOA schon an #2, sind in diesem EPA-Ranking an #3. Die Cowboys haben hier noch die #1 Offense. Das ist weniger bizarr als man meinen würde: In DVOA ist es die #2 Offense.

Minnesota neben San Francisco als einziges Team mit Offense und Defense in den Top-10. Hätteste sicher gewusst, oder?

Colts mit der #5 Offense und der #29 Defense. Aber Mahomes bei 13 Punkten gehalten.

Die Bears haben nun nur noch die #7 Defense – Regression schlägt finally zu. Bills bei mir nur an #24 overall trotz der #3 Defense.

Cardinals mit der #8 Offense!

Falcons „nur“ mit der zweitschlechtesten Defense. Dolphins „nur“ mit der zweitschlechtesten Offense. Dolphins mit Erwartungswert von 2 Siegen bei diesen Effizienz-Zahlen.

Schauen wir den Schedule an, so sehen wir:

  • Bears bis jetzt mit dem #27 Schedule, aber ab sofort mit dem schwersten Rest-Spielplan.
  • Auch für die 49ers wird es schwieriger: Von #29 bis jetzt auf #8 ab jetzt.
  • Seahawks haben den #4 Schedule vor sich.
  • Das Gegenstück sind die Jaguars: Schwerster Schedule bis jetzt, aber ab sofort nur noch der #26 Schedule.
  • Steelers? Sind 2-4 gegen den #2 Schedule und trotz second und third stringer auf QB, und haben ab sofort den #32 Schedule vor der Brust. Haben wir hier noch ein kleines dark horse?

Bis nächste Woche habe ich hoffentlich ein paar Verbesserungen und Verfeinerungen vorgenommen.

25 Kommentare zu “NFL Power Ranking 2019 – Erstausgabe

  1. Wie immer: danke, dass du dir die Arbeit machst..

    Ich verstehe EPA/Play bei der Defense noch nicht: Ist da ein höherer oder ein niedrigerer Wert besser? Also gehts um das Verhindern der gegnerischen Offense EPA oder gehts um EPA die wirklich durch die Defense erziehlt werden?

    Schedule ist von schwer nach Leicht? also 1 ist der Schwerste Schedule, 32 ist der leichteste?

  2. Als wäre die Dominanz der Patriots nicht schon schlimm genug, haben sie natürlich auch noch den einfachsten Schedule. Aber was ärgere ich mich?

  3. Der Mehrwert von Wins = 16 * WP% erschließt sich mir nicht.
    Wäre nicht expected Wins = Bisheriges Ergebnis + Summe( Schedule * p(WP% gegen X) sinnvoller?
    Alternativ auch über den kompletten Schedule.

    Die Frage ist halt ob man wissen will ob:
    – Wie gut ist Team A im Vergleich zu den anderen (Das sagt ja WP% schon aus)
    – Wen erwartet man in den Play-Off bzw. wer wird #1 Pick bekommen
    – Welche Teams over-/underperformen vs. Schedule

  4. @strubbi: Es ist einfach gedacht als schnelle Einordnung, wie viele Siege so ein Team erreichen würde, ohne dass der Leser eine komplizierte Multiplikation machen muss.

    Restliche Ideen sind gut. Schaue ich mir an.

  5. Na ja die pats sind schon unheimlich,und die Playoffs sind natürlich auch schon fix. Aber den Superbowl werden sie devenitiv nicht gewinnen. Dafür werden die Saints schon Sorgen.

  6. @Korsakoff:

    Im Monday Night-Review hast du geschrieben:
    „Aber wir haben auch gesehen: Die NFC North ist vielleicht nicht so hochklassig wie gedacht. “

    Im Ranking stehen 3 NFCN-Teams in den ersten 11 Plätzen. Das hat keine andere Division. Wären die Bears und Seahawks getauscht, gäbe es 3 NFCN-Teams in den Top 10, während keine andere Division auf 2 kommt… Zeigt das nicht schon ne extrem starke divison?

  7. Ja, starke Division, aber irgendwie haben alle Teams ihre Macken. Bears zb profitieren im Ranking noch von der 2018 Projection, Lions sind definitiv weiter unten als gedacht usw.

    Möglicherweise ist es aber dennoch die beste Division von allen, auch ohne Elite-Contender.

  8. verwundert mich stark dass die Lions mit einem Restprogramm (außerhalb der 5 Division Spiele) giants, raiders, cowboys, redskins, buccaneers, broncos den schwersten Restspielplan haben, muss dann wohl die Division ausmachen!?
    Und da bisherige so schwach mit u.a. Packers, Chiefs

  9. Ich überlege gerade, gegen wen die Dolphins ihre zwei Siege holen könnten. Sie haben noch zweimal Jets (mit Darnold) und einmal Giants vor sich. Ansonsten sehe ich schwarz.

    Bengals fünf Siege? Gegen Jets und Dolphins wären zwei. Es wird auf jeden Fall spannend für unsere gestreiften Freunde.

    In diesem Zusammenhang frage ich mich ernsthaft, weshalb nicht ein schwaches Team Jalen Ramsey geholt hat. Den Firstrounder von Cincy hätten die Jags sicher um einiges lieber gehabt als den der Rams. (gleiche Frage bzgl Peters, der vielleicht in der letzten Zeit nicht überragend war, aber in meinen Augen nach wie vor ein Elite-manndecker ist.)

  10. wenn du schlecht bist ist dein first roudner mehr wert. ramsey will vermutlich lieber für einen contender spielen.
    Ein CB wird dein Team nicht raus reißen, aber für ein borderline playoffteam kann es einen Unterschied machen.

    Ich finds ja krass wie sehr die Ravnes Defense abgestürtzt ist.

  11. Was ist denn das durchschnittliche Team, gegen das die virtuelle Siegwahrscheinlichkeit gerechnet ist? Die Nummer 16 im Ranking oder das mit 50% Siegwahrscheinlichkeit?
    Oder ein virtuelles Team mit genauen durchschnittlichen Werten für EPA/Off und EPA/Def?

  12. Interessant fände ich die Splits nach innerhalb/außerhalb 20% bis 80% Sieg-W’Keit und noch viel mehr die geskripteten (oder ggf. 1./2. drive) ggü. den restlichen Plays.
    Wäre es leicht möglich, die Zahlen mitzuliefern?

  13. @ Dizzy
    Die Jets sind aktuell eher noch als Wundertüte zu sehen. Luke Falk war eine absolute Vollkatastrophe. Es ist noch nicht abzusehen, wie sich das Team mit Darnold nun weiterentwickelt.

  14. @blub: Ravens Defense hat schon stark abgebaut, aber im Nachhinein hätte man es kommen sehen müssen.

    Letztes Jahr war man absurd gut, da wäre sowieso eine normale Regression eingetreten.

    Jetzt hat man aber mit Weddle, Mosley und Suggs die drei Führungsspieler und wichtigsten Leute für die Kommunikation verloren. Letzteres ist diese Saison das bis jetzt größte Problem der Ravens Defense. Vor allem auf ILB tut sich keiner hervor, der Ansagen macht oder die Defense ordnen kann. Das muss sich erst noch einspielen.

    Außerdem ist mit Z.Smith der beste Pass Rusher gegangen und spielt jetzt in Green Bay groß auf. Der Pass Rush ist das zweitgrößte Problem der Ravens.

    Zudem kommen noch die ganzen Verletzungen in der Secondary (T.Young, J.Smith, T.Jefferson, D.Elliott) hinzu.

    Ziel der Ravens muss es sein, im nächsten Draft einen talentierten EDGE früh zu ziehen und auch bei ILB ordentlich nachzurüsten. Wenn alles fit ist, schaut die Secondary immer noch bärenstark auf dem Papier aus.

  15. Hallo, hast du deinen Code zum berechnen der Daten aus nflscrapR in einem öffentlichen git, z.B. Bei github? Wie immer gute Arbeit, Danke dafür.

  16. Nein, ist auch gar nicht in R gemacht, aber einmal die Daten geputzt simpel reproduzierbar.

    Offense ca. 2x so wichtig wie Defense
    Minimales Schedule-Adjustment
    70% aus 2019, 30% aus 2018

    Wie gesagt, ist ein Prototyp und muss erst validiert werden.

  17. Ich weiß, super aufwendig, aber lässt du nebenbei auch dein altes Powerranking-Modell laufen, um einen direkten Vergleich zu haben?

    Vielen Dank für die tollen Artikel!

  18. Pingback: Gedanken zum Status der NFL und den Trades der Los Angeles Rams | Sideline Reporter - Eier, wir brauchen Eier!

  19. @davidneuber: Nein, da es „nix bringt“.

    Es geht mir nicht darum, das beste und komplexeste Modell der Welt zu haben. Vielmehr ist das Power-Ranking eigentlich immer nur ein Abfallprodukt der verfügbaren Daten gewesen, die ich anderweitig ausgewertet habe:

    – wie gut sind Passing-offenses/Defenses?
    – wie sind die Play-Calling Tendenzen?
    – wie oft geht die Offense überhaupt tief?
    usw.

    EPA ist besser als Yards und Success-Rate (das im Prinzip nur eine Vereinfachung von EPA war), insofern ist EPA auch besser geeignet um ein Ranking zu erstellen.

    Das Ranking ist für mich primär dazu da, einen schnellen Überblick über das ungefähre Leistungsvermögen und die Aussichten der Mannschaften zu bekommen. Dafür reicht es aus – es ist auch ziemlich nahe am FPI und DVOA.

    80/20 Pareto Regel.

    Wollte man es perfektionieren oder für Sportwetten optimieren, müsste man viel Aufwand reinstecken, Play-Caller Tendenzen, Injuries usw. mit berücksichtigen. Habe ich keine Zeit für.

Kommentar verfassen

Trage deine Daten unten ein oder klicke ein Icon um dich einzuloggen:

WordPress.com-Logo

Du kommentierst mit Deinem WordPress.com-Konto. Abmelden /  Ändern )

Google Foto

Du kommentierst mit Deinem Google-Konto. Abmelden /  Ändern )

Twitter-Bild

Du kommentierst mit Deinem Twitter-Konto. Abmelden /  Ändern )

Facebook-Foto

Du kommentierst mit Deinem Facebook-Konto. Abmelden /  Ändern )

Verbinde mit %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.