Daten auswerten
Vergleichen Sie die Antworten oder Daten Zeile für Zeile. Zählen Sie nach, was sich belegen lässt, und halten Sie den Rechenweg fest.
FRAGEN
BELEGEN
BEGRÜNDEN
Ich habe Antworten gesammelt. Was zähle ich jetzt?
- Die Regel zuerst festlegen
- Jede Antwort mit mindestens einer unbelegten Angabe zählt einmal.
- Die Ergebnisse vergleichen
- Prüfen und zählen Sie für beide Gruppen mit derselben Regel. Schreiben Sie auch auf, wie viele Antworten je Gruppe vorliegen.
Eine konkrete Antwort prüfen
- Die Angabe prüfen
- In der KI-Antwort steht 50 MB. Die Regel im Handbuch lautet 20 MB. Diese Antwort bekommt beim Zählen eine Eins.
- Die Quellenangabe prüfen
- Der Verweis führt zur richtigen Stelle. Die Zahl in der Antwort stimmt dort trotzdem nicht.
- Die Tabelle ausfüllen
- Notieren Sie beides getrennt. So können andere Ihre Bewertung nachlesen.
Ihre Ergebnisse nachrechnen
- Aufschreiben, was zählt
Legen Sie die Regel fest, bevor Sie anfangen.
- Zahlen prüfen
Rechnen Sie einen Wert nach und schauen Sie bei einem auffälligen Fall ins Original.
- Den Befund notieren
Schreiben Sie auf, was Sie gefunden haben und bis wohin der Befund reicht.
So können Sie die KI fragen
Hier sind meine Zählregel und ein freigegebenes Beispiel [Regel und Beispiel]. Zeige mir zwei mögliche Fehler beim Zählen. Ich prüfe den Rechenweg selbst.Kurz prüfen Kann jemand meine Zahl anhand derselben Antworten nachrechnen?
Ergebnisse selbst nachzählen
Die Frage zum Beispiel Wie viele KI-Antworten enthalten mindestens eine unbelegte Angabe? Ich vergleiche Antworten auf dieselben Fragen: einmal ohne und einmal mit der Bitte um eine genaue Stelle im IT-Servicehandbuch.
Antworten zählen und den Unterschied sehen
Ordnen Sie jeder Frage zwei Antworten zu. Zählen Sie je Gruppe jede Antwort einmal, sobald darin eine falsche oder unbelegte Angabe steht. In den fiktiven Beispieldaten enthielten 5 von 12 Antworten ohne Bitte um eine Fundstelle mindestens eine falsche oder im Handbuch unbelegte Angabe. Mit Bitte um eine Fundstelle waren es 2 von 12. Das sind 41,7 Prozent ohne und 16,7 Prozent mit Bitte um eine Fundstelle. Der Abstand beträgt 25 Prozentpunkte.


Die Zahlen stammen aus der Übung. Für eine eigene Untersuchung rechnen Sie mit den Antworten, die Sie tatsächlich gesammelt haben.
KI-Beispiel im Lehrfall
Ein fiktiver Chat zum Nachvollziehen
Meine Frage an die KI
Die Antwort heißt „Bis 16 Uhr“. Der Verweis führt zum Abschnitt „Anfragen“. Wie prüfe ich das?- Das sagt die KI
- Die KI hält die ganze Antwort wegen des falschen Verweises für unbelegt.
- So prüfe ich es
- Im Abschnitt „Serviceschalter“ steht tatsächlich 16 Uhr. Ich halte fest, dass die Uhrzeit stimmt und der Verweis zu einer anderen Stelle führt.
- Das halte ich fest
- Ich speichere die beiden Fundstellen und meine Begründung.
Bei welchen Fragen ändert sich etwas?
Legen Sie die zwei Antworten zu jeder Frage nebeneinander. In den Beispieldaten verschwindet die unbelegte Angabe bei drei Fragen: zur Leihfrist, zur Gerätereparatur und zur Gebühr bei Verspätung. Zwei Fehler bleiben bestehen: die Dateigröße beim Campusdruck und die behauptete Verfügbarkeit von USB-C-Adaptern.


Halten Sie die Antworten zur selben Frage zusammen. So sehen Sie, welche Fälle den Unterschied in der Summe ausmachen.
Antwort und Quellenangabe getrennt prüfen
- Die Antwort ist vollständig
Ohne Bitte um Fundstelle lösen die Antworten 5 von 8 Aufgaben mit einer Handbuchregel, mit Bitte um Fundstelle 7 von 8.
- Eine Regel fehlt
Ohne Bitte um Fundstelle erkennen die Antworten 2 von 4 Lücken im Handbuch, mit Bitte um Fundstelle 3 von 4.
- Die angegebene Stelle passt
Von den 9 genannten Stellen tragen 6 die Angabe tatsächlich.


Bei jeder Zahl steht dabei, wie viele Antworten oder Stellen Sie jeweils geprüft haben.
Übung · Nachzählen, wie oft Angaben unbelegt sind
Öffnen Sie die Beispieldaten. Zählen Sie getrennt für die beiden Gruppen, in wie vielen Antworten mindestens eine Angabe unbelegt ist. Zählen Sie jede Antwort höchstens einmal. Bei welchen Fragen ändert sich die Bewertung?
- Gleiche Fragen nebeneinanderlegen
Ordnen Sie jeder Frage die beiden Antworten zu: links ohne Bitte um Fundstelle, rechts mit Bitte. Prüfen Sie, ob für alle zwölf Fragen beide Antworten vorliegen.
Warum? Die Fragen können unterschiedlich schwer sein. Paare halten jeweils dieselbe Frage zusammen. Fehlt eine Antwort oder steht sie doppelt in der Liste, klären Sie das vor dem Zählen.
- Antworten mit Fehler zählen
Ohne Bitte um Fundstelle sind es 5 von 12, mit Bitte 2 von 12. Bei drei Fragen verschwindet die unbelegte Angabe. Bei zwei bleibt mindestens eine unbelegte Angabe bestehen, darunter beim Campusdruck.
Warum? Eine Antwort mit mehreren problematischen Angaben zählt einmal. Die Frage lautet, wie häufig Antworten betroffen sind. Sie würden anders zählen, wenn Sie die Zahl einzelner falscher Angaben untersuchen wollten.
- Das Ergebnis mit seiner Grenze formulieren
In den fiktiven Beispieldaten enthielten 5 von 12 Antworten ohne Bitte um eine Fundstelle mindestens eine falsche oder im Handbuch unbelegte Angabe. Mit Bitte um eine Fundstelle waren es 2 von 12.
Warum? Die zwölf Antworten je Gruppe gehören in den Satz, damit der Vergleich nachrechenbar bleibt. Die Antworten wurden für diese Übung erstellt. Das Ergebnis zeigt, wie Sie die Auswertung durchführen, und belegt keine tatsächliche Wirkung der Zusatzanweisung.
Weiterführende Literatur
- Kriterien für die Prüfung von KI-Ergebnissen und die Wirksamkeit von Kontrollen.

KI-WERTBEITRAG
Schnelleinstieg in Kosten, Nutzen und WirtschaftlichkeitDAS WICHTIGSTE ZUERSTIn Vorbereitung. Nutzen, Aufwand und Qualität des KI-Einsatzes gemeinsam bewerten.
Arbeitshilfen zu diesem Kapitel
Rechnen Sie mit den Beispieldaten oder halten Sie den Rechenweg für Ihre eigene Arbeit fest.
Antwortliste zum KI-Vergleich
Wofür? Sehen Sie beide Beispielantworten zu jeder Frage und prüfen Sie den Vergleich.
Wann? Wenn Sie den Lehrfall nachrechnen möchten.
Die Antwortliste prüfen
Wofür? Erkennen Sie fehlende, doppelte oder schwer vergleichbare Antworten.
Wann? Bevor Sie mit dem Zählen beginnen.
Datenprüfung nachvollziehbar protokollieren
Wofür? Merken Sie sich auffällige Zeilen, offene Fälle und Ihre Entscheidungen.
Wann? Sobald bei der Prüfung Fragen auftauchen.
Antworten mit Excel auswerten
Wofür? Zählen Sie unbelegte Angaben und vergleichen Sie die Antworten zu derselben Frage.
Wann? Sobald Sie Ihre Antwortpaare bewertet haben.
Eine Ursachenbehauptung prüfen
Wofür? Prüfen Sie, ob die Daten Ihren Schluss über eine Ursache stützen.
Wann? Wenn in Ihrem Entwurf Wörter wie „bewirkt“ oder „führt zu“ stehen.
Auswertungsnotiz schreiben
Wofür? Schreiben Sie Ihr Ergebnis mit Rechenweg und Fundstelle auf.
Wann? Bevor Sie Zahlen in die Arbeit übernehmen.
Ihr Ergebnis lässt sich nachrechnen
- Alle zwölf Fragen haben je zwei Antworten.
- Inhalt, Vollständigkeit und Fundstelle wurden getrennt geprüft.
- Sie kennzeichnen die Zahlen aus der Übung als Beispiele.


