Wie wir (künftig) die Prognosegüte ermitteln...

• Wie wir (künftig) die Prognosegüte ermitteln...

  Wahlfieber Team, 01.06.2021 05:28

  #1
  

  Die im Folgenden beschriebenen Regeln gelten vorerst für alle Wahlauswertungen ab dem Jahr 2021.

  ******

  Die Güte einer Prognose wird in zwei Schritten ermittelt:

  1. In einem ersten Schritt werden für jede abgegebene Prognose folgende Abweichungsfehler berechnet:

  • der MAF: mittlerer absoluter Fehler --- oft auch englisch MAE - Mean absolute error
  • der MAPF: mittlerer absoluter prozentualer Fehler - oft auch MAPE- Mean absolute percentage error
  • der MQF: mittlerer quadratischer Fehler--- oft auch MSE- Mean squared error

  Hierbei handelt es sich um drei gängige und wissenschaftlich anerkannte Methoden, um die Fehler einer Prognose zu bestimmen. Je geringer der jeweilige Fehler ausfällt desto genauer ist eine Prognose.

  In der Praxis stellt man jedoch schnell fest, dass die Reihenfolge bei den drei Berechnungen sehr unterschiedlich ausfallen kann. Eine Einzelbetrachtung der jeweiligen Fehlerberechnungen erscheint somit nicht sinnvoll, erst in Summe ergibt sich ein klareres Bild darüber, welche Prognose wirklich die Beste gewesen ist.

  Allerdings sagt auch die Zusammenführung von MAF, MAPF und MQF am Ende nur wenig darüber aus, wie "gut" oder genau die jeweiligen Prognosen wirklich sind. Sie gibt lediglich eine Reihenfolge wieder.

  Es bedarf daher weiterer Auswertungen ...

  2. Bei der Ermittlung der eigentlichen Prognosegüte war uns wichtig, dass das Endresultat einfach zu berechnen, somit leicht nachvollziehbar und gleichsam einleuchtend ist.

  Vorbemerkungen:

  Wir haben daher versucht, ein Ergebnis zu kreieren, dass sich an den gängigen Schulnoten orientiert. (von 1 = sehr gut bis hin zu 6 = ungenügend), damit man selbst auf den flüchtigen Blick sofort erkennt, welche Prognose (sehr) gut und welche Prognose eher schlecht ist.

  Uns ist sehr wohl bewusst, dass es unmöglich ist, eine Skala zu kreieren, die exakt bei 6 endet. Es wird immer Prognosen geben, die einen Wert über 6 erreichen. "Ungenügend" mag den Bodensatz markieren, aber gekanntlich ist auch bei "Six feet under" längst nicht Schluss. - Wenigstens kann die Kehrseite klar umschrieben werden: Denn im Idealfall tendieren alle unter 1. angeführten Fehlerberechnugnen gen 0.

  Uns ist weiterhin bewusst, dass die Prognosegüte als solche nicht wirklich exakt bestimmt werden kann - nicht zuletzt, weil beispielsweise ein "sehr gut" nicht eindeutig definiert ist. Aber: Man sollte zumindest versuchen, sich einem solchen Ergebnis anzunähern, und sei es auch nur, weil einem das Gefühl oder jahrelange Erfahrung sagen: Das dürfte passen. (Das ist sicher keine exakte Wissenschaft - deren Bedürfnisse wurden bereits unter 1. Rechnung getragen -, aber der Versuch einer konkreten Annäherung)

  Lösung:

  Um die Güte einer Prognose zu ermitteln, werden folgende Rechenschritte angewandt:

  • die drei Abweichungsfehler (MAF, MAPF, MQF) werden erneut gemittelt
  • aus dem neuen Mittel wird die Wurzel gezogen - Ausnahme: Liegt der Wert des neuen Mittels bereits unter 1, wird quadriert.

  Diese Lösung ist zunächst als Vorschlag zu verstehen, der in der Praxis weiter überprüft werden muss. Die Auswertung des uns vorliegenden Datenmaterials aus Wahlen der Jahre 2019 und 2020 stimmt optimistisch, dass die Berechnung "Sinn" macht. Dennoch sind Korrekturen und Verbesserungen nicht auszuschließen.

  **********

  Die neue Prognosegüte wird erstmalig dargestellt für die drei deutschen Landtagswahlen im Frühjahr 2021: Baden-Württemberg, Rheinland-Pfalz und Sachsen-Anhalt.

  **********

  **********

  Das Nachfolgende wird wieder gelöscht:

  Die Online-Stellung der Auswertung für die drei genannten Landtagswahlen wird im Laufe des Juni 2021 erfolgen. Es bedarf weiterer Anpassungen in den mittlerweile sehr umfangreichen Excel-Tabellen. (vor allem aber deren Überprüfung auf mögliche Fehler, die sich unbemerkt eingeschlichen haben könnten)

  • Antworten

  Prognose verknüpfen