Einer der besten US-Footballpodcasts kommt aus der Statistik-Abteilung von Pro Football Focus: PFF Forecast Podcast. Am letzten Donnerstag diskutierten Eric Eager und George Chahrouri unter anderem über das Thema „objektive vs. subjektive“ Bewertungsmethoden (ab 17:30 min).
Auslöser war natürlich der auch auf diesem Blog kommentierte Frontalangriff von ex-GM Joe Banner auf die Analytics-Community auf Twitter. Eine von Banners eher tragischen Grundaussagen dort:
Er wirft PFF vor, mit nicht kompletten bzw. nicht objektiven Daten zu arbeiten. Die Grades seien nicht perfekt, weil sie zahlreiche Komponenten eines Spielzugs – z.B. Assignments oder Coaching – nicht berücksichtigen. Daher seien sie als Analyseinstrument zu komplett verwerfen.
Eager und Chahrouri zerlegen die Aussage nun in ihre Einzelteile. Der Konter liegt auf der Hand. Das Problem an Banners Bashing: Subjektivität und Brauchbarkeit schließen sich gegenseitig nicht aus. PFF-Grades sind nicht perfekt – weder PFF noch deren blindeste Jünger haben das jemals behauptet – doch sie sind transparent und sie sind gut darin, Dinge vorherzusagen.
Der Erfassung von QB-Pressures als Datenpunkte liegt natürlich eine subjektive Methodik zugrunde – doch das Problem haben wir auch bei Sacks, und sogar bei Yards, wie Brian Burke vor Jahren bewies: Schiedsrichter platzieren den Ball viel häufiger auf eine der durchgehenden weißen Linien am Feld (5-Yards Schritte) als dazwischen. Das Problem haben wir in vielen Feldern der Datenerfassung!
Rein objektive Werte zu erfassen, ist nicht nur im Footballsport schwierig. Doch zum Glück gibt es eine Methode, die Qualität der Datenerfassung zu validieren – ganz einfach, in dem man die Prognose-Qualität der Daten analysiert (signal). Ist PFFs Grading gut darin, wichtige Dinge zu prognostizieren, hat es automatisch einen bestimmten Wert. Ob objektiv oder subjektiv ist dann nebensächlich (Eager/Chahrouri: „Scouts bewerten rein subjektiv. Und wir wetten, dass ihre Methoden auch gute Prognosen ermöglichen.“)
Im Falle von PFF-Grades kann zum Beispiel bei Edge-Rushern nachgewiesen werden, dass die Benotungsmethodik gut darin ist, etwas vorherzusagen, das wichtig ist (QB-Pressures).
PFF beansprucht keine Perfektion. Sein Ziel ist es, die Abläufe am Feld bestmöglich zu quantifizieren und damit transparent und somit auch überprüfbar zu machen. Das sei auch eine Botschaft an diejenigen, die PFF ohne nachzudenken in Grund und Boden bashen: Wichtig ist immer vor dem Verriss auf die Prognose-Qualität der Daten zu schauen. Andernfalls könnte es peinlich werden.
Sideline Reporter - Eier, wir brauchen Eier! 
Ich habe den forccast noch nicht zuende gehört. Mir kommt jedes Mal beim Lesen der Diskussionen folgendes, in meinen Augen einfaches Bild, zum Erklären der Nützlichkeit:
Ausgang:
Stelle dir vor, du bist Secondary oder Line Coach. Du siehst auf Type 5 Dinge, in denen du deinen Spieler coachen willst. Hast aber nur Zeit für 3. Welche 3 nimmst du?
Vorgehen:
Variante a: dein Wissen oder „das habe ich schon immer so gemacht“
Variante b: Analytics sagt, intermediate pass game ist das effektivste, also coache ich als erstes das, was darauf den größten Einfluss hat. Bitte liebe Analytics-Einheit, sagt mir, welche traits den größten Einfluss haben. Da kommt dann vllt bei rum, dass deine erste Idee 100% stimmte. Schön. Wahrscheinlicher ist, dass eine Sache dabei rauskommt, die du gar nicht aufm Schirm hattest (#blinder Fleck) und vllt. 1, 2 Dinge viel wichtiger bzw. unwichtiger sind, als du vorher dachtest. Jetzt hast du die Chance, mit deinem Wissen als Coach das Tape erneut zu analysieren. Wieder2 Möglichkeiten:
Variante a: du siehst neue Dinge auf Type, du schaust spezieller auf die Dinge, die wirklich wichtig sind (Pats-like: „do your job“) und kannst viel effizienter die Dinge coachen, die deinen Spieler in wichtigen Eigenschaften besser machen. => (*)Beide gewinnen.
Variante b: Du siehst auf Tape absolut nicht, was doe Daten zeigen => Du musst besser werden oder die Analytics-Einheit muss besser werden => prozess startet neu. Irgendwann landest du wieder bei (*)
Darin ist alles Coach-bezogene meeega subjektiv. Der eine coach findet dies, der andere das wichtig. Gleiches gilt für scouts. Mit Analytics hast du aber ne feedback-schleife, die dich als coach/scout besser macht, blinde Flecke aufdeckt.
Die pff-grades verhalten sich ähnlich mit 2 riesen-unterschieden:
1. Gibt es eine Rating-Anleitung, eine gemeinsame Grundlage der Noten, die Subjektivität reduziert.
2. sind die menge an plays die jeder einzelne pff-analyst graded und die das pff-team insgesamt graded, so groß, dass Fehleinschätzungen sich aufheben: mal bewertet einer ein play schlechter, mal eins besser, passiert. Ist aber in der Masse der Daten statistisch egal.
Mal graded ein typ insgesamt im Durchschnitt Spieler 0.2 pkt besser, mal schlechter. Wieder egal, weil es sich über die Masse ausgleicht.
Und wenn jemand deutlich schlechter/besser graded, könnenes die Daten einem rückmelden, der typ gebrieft werden und das grading angepasst werden. Gleiche feedback-schleife wie oben.
Genau das ist eigentlich die Subjektivität reduzieren auf bestmöglichem Niveau.
Ergänzend zum detailgrad der grades: es ist egal ob DB1 mit ner grad von 80.3 besser ist als DB2 mit ner grade von 80.2; Beide sind aber mit Sicherheit besser als DB3 mit ner grade von 70.7
Nuancen sind egal bei der Methode, sie gibt nur die Möglichkeit zu sagen, wo mab im Tape hinschauen muss, oder wo bei etwa gleichstarken Spielern deren Stärken/Schwächen (=> teamfit) und Trainingspotenziale liegen usw.
Agree.
Ein Kritikpunkt an PFF ist oft, dass PFF gar nicht weiß, welche Assignments Spieler hatten. Doch die NFL-Teams wissen das beim Scouten gegnerischer Mannschaften auch nicht.
Es ist geradezu faszinierend zu beobachten, wie konsequent sich der Großteil der NFL Analytics versperrt, weil sie alle Angst haben, dass ihnen ein Zacken aus der Krone fällt.
Kein Wunder, dass die fortschrittlichsten Teams wie New England oder Philly in den letzten Jahren die Titel abgeräumt haben.