Prüfer werden

Warum es auf dich ankommt

Eine Maschine kann einen Nachrichtentext in Sekunden lesen. Ob sie dabei fair urteilt, kann sie nicht selbst beweisen. Das können nur Menschen, und zwar viele, mit unterschiedlichen Blickwinkeln.

Gegenprobe prüft Beiträge von tagesschau.de darauf, ob Nachricht und Meinung sauber getrennt sind und ob sorgfältig berichtet wurde. Das Modell dahinter arbeitet nach offenen Regeln, jedes Zitat ist im Internet Archive belegt. Eine Frage bleibt trotzdem offen, und sie ist die wichtigste: Würden Menschen genauso urteilen?

Um das zu beantworten, suchen wir Prüferinnen und Prüfer. Menschen, die gern genau lesen, die sich über einen schiefen Satz ärgern können, egal von welcher Seite er kommt, und die Lust haben, an etwas mitzuarbeiten, das es so noch nicht gibt: einem Werkzeug für Medienkritik, das sich selbst öffentlich kontrollieren lässt.

Was Gegenprobe ist

Gegenprobe ist eine kleine, private und nicht kommerzielle Seite ohne Verbindung zur ARD. Sie liest einen Beitrag mit dem Maßstab, den sich die Sender selbst gegeben haben, und zeigt, wo eine Formulierung diesen Maßstab verletzen könnte.

• Formulierungen, keine MeinungenOb eine politische Position richtig ist, spielt keine Rolle. Es geht darum, ob die Redaktion in einer Nachricht selbst wertet oder eine Überschrift mehr behauptet als der Text.
• Jedes Zitat ist belegtGegenprobe zitiert nur, was wörtlich in einer Fassung beim Internet Archive steht. Nachprüfen geht mit einem Klick.
• Freisprüche zählen„Ohne Befund“ ist ein häufiges und richtiges Ergebnis. Ein Werkzeug, das überall Verstöße findet, wäre wertlos.
• Alles ist öffentlichDer Prüfauftrag an das Modell, jedes Ergebnis im Register, auch die Zahlen, die schlecht ausfallen.

Warum eine Maschine Menschen braucht

Journalistische Sorgfalt ist eine Vereinbarung zwischen Menschen. Ob ein Satz eine zulässige Einordnung ist oder eine versteckte Wertung, steht in keinem Gesetz wörtlich drin. Es ist eine Frage des Urteils. Und Urteile prüft man nicht mit einer zweiten Maschine, sondern mit Menschen.

Eine Maschine sieht ihre eigenen blinden Flecken nicht. Sie kann sehr gleichmäßig arbeiten und trotzdem gleichmäßig danebenliegen. Vielleicht schlägt sie zu oft Alarm, vielleicht übersieht sie eine bestimmte Art von Zuspitzung. Das merkt man nur, wenn Menschen dieselben Texte lesen, ohne zu wissen, was die Maschine gesagt hat.

Niemand ist neutral, auch kein Modell. Ein Sprachmodell hat aus Texten von Menschen gelernt und kann deren Neigungen übernommen haben. Wir testen das selbst, indem wir Akteure in Beiträgen vertauschen und schauen, ob das Urteil kippt. Den Maßstab, an dem sich das Modell messen lassen muss, können aber nur Menschen setzen, die von verschiedenen Seiten auf denselben Text blicken.

Auch Menschen sind sich nicht immer einig, und genau das ist wertvoll. Wenn zwei erfahrene Leser beim selben Beitrag zu verschiedenen Urteilen kommen, ist das keine Panne. Es zeigt, wo die ehrliche Grenze dessen liegt, was überhaupt sicher zu sagen ist.

Wie einig sich Menschen sind, ist die Obergrenze für jedes Werkzeug.

Liegt das Modell nahe daran, ist es so gut wie ein weiterer Prüfer. Liegt es weit darunter, sagt die Seite das offen.

Ohne euch bleibt jede Zahl eine Behauptung. Wer eine Beschwerde liest, fragt zu Recht: Wer sagt das? Die beste Antwort, die Gegenprobe geben kann, lautet: Menschen mit unterschiedlicher Haltung haben blind und unabhängig geprüft, und hier sind ihre Ergebnisse.

Was du als Prüfer konkret tust

Du liest echte Beiträge von tagesschau.de und sagst, wie du sie beurteilst. Mehr nicht. Du brauchst keine Software, kein Konto und keine Vorkenntnisse in Statistik, nur einen Browser und deinen persönlichen Zugangscode.

Jeden Tag werden zwei Beiträge von tagesschau.de zufällig gezogen und vom Modell geprüft. Jeder Beitrag geht an drei Prüfer, möglichst aus verschiedenen politischen Richtungen. Das Urteil des Modells bleibt 48 Stunden versiegelt: Sein Prüfwert steht sofort öffentlich im Register, das Urteil selbst erst nach Ablauf der Frist. So bewertest du garantiert blind, und niemand kann das Urteil nachträglich ändern.

1. 01Deinen Auftrag öffnen

   Bekommst du einen Auftrag, schreiben wir dir. Dein persönlicher Link führt in den Prüferbereich: oben deine Aufträge mit Frist, darunter weitere Beiträge, die du freiwillig bewerten kannst.

2. 02Blind bleiben

   Schau dir vorher weder das Register noch die Ergebnisseite des Beitrags an. Deine Bewertung ist nur dann etwas wert, wenn du nicht weißt, was das Modell gesagt hat.

3. 03Die Archivfassung lesen

   Ein Klick öffnet genau die Fassung, die auch das Modell geprüft hat. Lies sie vollständig, mit Überschrift und Vorspann.

4. 04Die Darstellungsform wählen

   Nachricht, Analyse, Kommentar, Reportage und so weiter. In einer Nachricht gilt die Trennung von Bericht und Meinung voll, in einem gekennzeichneten Kommentar darf gewertet werden.

5. 05Stellen markieren

   Kopiere jede Stelle, die du beanstandest, wörtlich aus dem Text. Höchstens sechs, nach Gewicht sortiert, jeweils mit Kategorie und Schwere.

6. 06Ein Urteil wählen

   Eine von vier Stufen, siehe unten.

7. 07Notiz, wenn du willst

   Zweifel an einer Tatsache, die du nur mit eigenem Wissen begründen kannst, gehören hierhin, nicht in die Beanstandungen.

8. 08Speichern und weiter

   Der nächste Beitrag wartet. Aufträge haben eine Frist, alles andere bewertest du, wann und so viel du willst.

Die vier Stufen

Beschwerdegrund naheliegend

Mindestens ein schwerer, im Text belegbarer Verstoß in einem Beitrag, der nicht als Kommentar gekennzeichnet ist, oder mehrere mittlere zusammen.

Korrekturhinweis naheliegend

Ein klarer einzelner Fehler, den die Redaktion mit einem Hinweis beheben kann.

Nur fürs Register

Auffälligkeiten in Auswahl, Gewichtung oder Ton, aber kein Verstoß im Einzelbeitrag.

Ohne Befund

Nichts davon. Ein häufiges und richtiges Ergebnis.

Zwei Faustregeln, die viel Streit ersparen: Was einem Sprecher korrekt zugeordnet ist, ist keine Beanstandung, auch wenn es einseitig klingt. Und bewertet werden Formulierungen, nie die Meinung, die jemand vertritt.

Was aus deinem Urteil wird

Deine Bewertung fließt in öffentliche Zahlen ein, die auf der Validierungsseite stehen, auch wenn sie für das Modell schlecht ausfallen. Dein Name wird dabei nirgends gespeichert, nur eine anonyme Kennung.

Wie einig sind sich Menschen? Wie oft wählen zwei Prüfer beim selben Beitrag dieselbe Stufe? Wie oft sind sie sich wenigstens einig, ob eine Eingabe nötig ist? Dazu kommt Krippendorffs Alpha, ein in der Forschung übliches Maß, das herausrechnet, wie viel Übereinstimmung auch zufällig entstünde.

Wie nah kommt das Modell an euch heran? Wie oft trifft es dasselbe Urteil wie die Mehrheit? Wie oft schlägt es Alarm, wo die Mehrheit keine Eingabe für nötig hält, und wie oft schweigt es, wo sie eine für nötig hält? Und wie viele seiner markierten Stellen beanstandet auch ein Mensch?

Belastbar werden diese Zahlen ab etwa 50 Beiträgen, die jeweils von mindestens zwei Prüfern bewertet wurden. Deshalb brauchen wir nicht drei Prüfer, sondern viele. Jeder Beitrag, den du bewertest, bringt die Zahlen näher an diese Schwelle.

Zeigen eure Bewertungen, dass das Modell an einer Stelle systematisch danebenliegt, wird der Prüfauftrag angepasst. Die neue Fassung ist öffentlich, und jeder Eintrag im Register zeigt, nach welcher Fassung er geprüft wurde. Dein Urteil verändert also, wie die Maschine künftig liest.

Wen wir suchen

Wir suchen Menschen, die verschieden denken und gleich genau lesen. Die Vielfalt der Gruppe ist kein Nebenaspekt, sie ist der Kern der Methode: Wenn nur eine Richtung prüft, misst die Validierung am Ende nur deren Blick.