Validierung

Wie gut trifft das Modell das Urteil menschlicher Prüfer? Prüferinnen und Prüfer bewerten Beiträge aus dem Register blind, ohne das Ergebnis des Modells zu kennen. Hier stehen die Zahlen, auch wenn sie schlecht ausfallen.

Lade …

Menschen untereinander

Gleiches Urteil–

Anteil der Prüferpaare, die beim selben Beitrag dieselbe der vier Stufen wählen.

Gleich bei „Eingabe ja oder nein“–

Beschwerde oder Korrekturhinweis gegen „Nur fürs Register“ oder „Sauber“.

Krippendorffs Alpha–

Übereinstimmung über den Zufall hinaus, für „Eingabe ja oder nein“. 1 heißt völlig einig, 0 nicht besser als Zufall.

Modell gegen Menschen

Urteil wie die Mehrheit–

Anteil der Beiträge, bei denen das Modell dieselbe Stufe wählt wie die Mehrheit der Prüfer.

Fehlalarme–

Von den Beiträgen, bei denen die Mehrheit keine Eingabe für nötig hält: Anteil, bei dem das Modell eine empfiehlt.

Übersehen–

Von den Beiträgen, bei denen die Mehrheit eine Eingabe für nötig hält: Anteil, bei dem das Modell keine empfiehlt.

Fundstellen bestätigt–

Anteil der Fundstellen des Modells (ohne Grenzfälle), die mindestens ein Prüfer ebenfalls beanstandet.

Stellen der Prüfer gefunden–

Anteil der von Prüfern beanstandeten Stellen, die auch das Modell nennt.

Vorgehen

  • Bewertet werden Beiträge aus dem Register, zuerst aus der Zufallsstichprobe. Nur sie ist repräsentativ; von Nutzern ausgewählte Beiträge sind häufiger auffällig.
  • Die Prüfer lesen die Archivfassung, wählen eine der vier Stufen und kopieren jede beanstandete Stelle wörtlich. Das Ergebnis des Modells sehen sie dabei nicht.
  • Wir laden Prüferinnen und Prüfer mit unterschiedlicher politischer Haltung ein, möglichst aus Journalismus und Medienrecht. Namen werden nicht gespeichert.
  • Wie einig sich Menschen sind, ist die Obergrenze für jedes Werkzeug. Liegt das Modell nahe daran, ist es so gut wie ein weiterer Prüfer; liegt es weit darunter, sagt diese Seite das.
  • Belastbar werden die Zahlen ab etwa 50 doppelt bewerteten Beiträgen.

Prüfer werden? Schreib an gegenpro@proton.me.