LEHRE · WISSENSCHAFTLICHES ARBEITEN

Daten auswerten

Vergleichen Sie die Antworten oder Daten Zeile für Zeile. Zählen Sie nach, was sich belegen lässt, und halten Sie den Rechenweg fest.

FRAGEN
BELEGEN
BEGRÜNDEN

Ich habe Antworten gesammelt. Was zähle ich jetzt?

Die Regel zuerst festlegen
Jede Antwort mit mindestens einer unbelegten Angabe zählt einmal.
Die Ergebnisse vergleichen
Prüfen und zählen Sie für beide Gruppen mit derselben Regel. Schreiben Sie auch auf, wie viele Antworten je Gruppe vorliegen.

Eine konkrete Antwort prüfen

Die Angabe prüfen
In der KI-Antwort steht 50 MB. Die Regel im Handbuch lautet 20 MB. Diese Antwort bekommt beim Zählen eine Eins.
Die Quellenangabe prüfen
Der Verweis führt zur richtigen Stelle. Die Zahl in der Antwort stimmt dort trotzdem nicht.
Die Tabelle ausfüllen
Notieren Sie beides getrennt. So können andere Ihre Bewertung nachlesen.

Ihre Ergebnisse nachrechnen

  1. Aufschreiben, was zählt

    Legen Sie die Regel fest, bevor Sie anfangen.

  2. Zahlen prüfen

    Rechnen Sie einen Wert nach und schauen Sie bei einem auffälligen Fall ins Original.

  3. Den Befund notieren

    Schreiben Sie auf, was Sie gefunden haben und bis wohin der Befund reicht.

So können Sie die KI fragen

Hier sind meine Zählregel und ein freigegebenes Beispiel [Regel und Beispiel]. Zeige mir zwei mögliche Fehler beim Zählen. Ich prüfe den Rechenweg selbst.

Kurz prüfen Kann jemand meine Zahl anhand derselben Antworten nachrechnen?

Ergebnisse selbst nachzählen

Die Frage zum Beispiel Wie viele KI-Antworten enthalten mindestens eine unbelegte Angabe? Ich vergleiche Antworten auf dieselben Fragen: einmal ohne und einmal mit der Bitte um eine genaue Stelle im IT-Servicehandbuch.

Antworten zählen und den Unterschied sehen

Ordnen Sie jeder Frage zwei Antworten zu. Zählen Sie je Gruppe jede Antwort einmal, sobald darin eine falsche oder unbelegte Angabe steht. In den fiktiven Beispieldaten enthielten 5 von 12 Antworten ohne Bitte um eine Fundstelle mindestens eine falsche oder im Handbuch unbelegte Angabe. Mit Bitte um eine Fundstelle waren es 2 von 12. Das sind 41,7 Prozent ohne und 16,7 Prozent mit Bitte um eine Fundstelle. Der Abstand beträgt 25 Prozentpunkte.

Von zwölf Antworten pro Gruppe enthalten fünf ohne Bitte um Fundstelle und zwei mit Bitte mindestens eine unbelegte Angabe.
Von zwölf Antworten pro Gruppe enthalten fünf ohne Bitte um Fundstelle und zwei mit Bitte mindestens eine unbelegte Angabe.

Die Zahlen stammen aus der Übung. Für eine eigene Untersuchung rechnen Sie mit den Antworten, die Sie tatsächlich gesammelt haben.

Antwortliste zum KI-VergleichCSV · Zur Vorlage

KI-Beispiel im Lehrfall

Ein fiktiver Chat zum Nachvollziehen

Meine Frage an die KI

Die Antwort heißt „Bis 16 Uhr“. Der Verweis führt zum Abschnitt „Anfragen“. Wie prüfe ich das?
Das sagt die KI
Die KI hält die ganze Antwort wegen des falschen Verweises für unbelegt.
So prüfe ich es
Im Abschnitt „Serviceschalter“ steht tatsächlich 16 Uhr. Ich halte fest, dass die Uhrzeit stimmt und der Verweis zu einer anderen Stelle führt.
Das halte ich fest
Ich speichere die beiden Fundstellen und meine Begründung.

Bei welchen Fragen ändert sich etwas?

Legen Sie die zwei Antworten zu jeder Frage nebeneinander. In den Beispieldaten verschwindet die unbelegte Angabe bei drei Fragen: zur Leihfrist, zur Gerätereparatur und zur Gebühr bei Verspätung. Zwei Fehler bleiben bestehen: die Dateigröße beim Campusdruck und die behauptete Verfügbarkeit von USB-C-Adaptern.

Bei Laptop-Ausleihe, Gerätereparatur und Verspätungsgebühr verschwindet die unbelegte Angabe. Bei Campusdruck und USB-C-Adaptern bleibt sie bestehen.
Bei Laptop-Ausleihe, Gerätereparatur und Verspätungsgebühr verschwindet die unbelegte Angabe. Bei Campusdruck und USB-C-Adaptern bleibt sie bestehen.

Halten Sie die Antworten zur selben Frage zusammen. So sehen Sie, welche Fälle den Unterschied in der Summe ausmachen.

Antworten mit Excel auswertenXLSX · Zur Vorlage

Antwort und Quellenangabe getrennt prüfen

  1. Die Antwort ist vollständig

    Ohne Bitte um Fundstelle lösen die Antworten 5 von 8 Aufgaben mit einer Handbuchregel, mit Bitte um Fundstelle 7 von 8.

  2. Eine Regel fehlt

    Ohne Bitte um Fundstelle erkennen die Antworten 2 von 4 Lücken im Handbuch, mit Bitte um Fundstelle 3 von 4.

  3. Die angegebene Stelle passt

    Von den 9 genannten Stellen tragen 6 die Angabe tatsächlich.

Ohne und mit Bitte um Fundstelle: 5 und 7 von 8 beantworteten Fragen vollständig, 2 und 3 von 4 fehlenden Regeln erkannt. Nur mit Bitte wurden Verweise angegeben. Sechs von neun passen zur Aussage.
Ohne und mit Bitte um Fundstelle: 5 und 7 von 8 beantworteten Fragen vollständig, 2 und 3 von 4 fehlenden Regeln erkannt. Nur mit Bitte wurden Verweise angegeben. Sechs von neun passen zur Aussage.

Bei jeder Zahl steht dabei, wie viele Antworten oder Stellen Sie jeweils geprüft haben.

Auswertungsnotiz schreibenDOCX · Zur Vorlage

Übung · Nachzählen, wie oft Angaben unbelegt sind

Öffnen Sie die Beispieldaten. Zählen Sie getrennt für die beiden Gruppen, in wie vielen Antworten mindestens eine Angabe unbelegt ist. Zählen Sie jede Antwort höchstens einmal. Bei welchen Fragen ändert sich die Bewertung?

Antworten mit Excel auswertenXLSX · Zur Vorlage

Gleiche Fragen nebeneinanderlegen

Ordnen Sie jeder Frage die beiden Antworten zu: links ohne Bitte um Fundstelle, rechts mit Bitte. Prüfen Sie, ob für alle zwölf Fragen beide Antworten vorliegen.

Warum? Die Fragen können unterschiedlich schwer sein. Paare halten jeweils dieselbe Frage zusammen. Fehlt eine Antwort oder steht sie doppelt in der Liste, klären Sie das vor dem Zählen.

Antworten mit Fehler zählen

Ohne Bitte um Fundstelle sind es 5 von 12, mit Bitte 2 von 12. Bei drei Fragen verschwindet die unbelegte Angabe. Bei zwei bleibt mindestens eine unbelegte Angabe bestehen, darunter beim Campusdruck.

Warum? Eine Antwort mit mehreren problematischen Angaben zählt einmal. Die Frage lautet, wie häufig Antworten betroffen sind. Sie würden anders zählen, wenn Sie die Zahl einzelner falscher Angaben untersuchen wollten.

Das Ergebnis mit seiner Grenze formulieren

In den fiktiven Beispieldaten enthielten 5 von 12 Antworten ohne Bitte um eine Fundstelle mindestens eine falsche oder im Handbuch unbelegte Angabe. Mit Bitte um eine Fundstelle waren es 2 von 12.

Warum? Die zwölf Antworten je Gruppe gehören in den Satz, damit der Vergleich nachrechenbar bleibt. Die Antworten wurden für diese Übung erstellt. Das Ergebnis zeigt, wie Sie die Auswertung durchführen, und belegt keine tatsächliche Wirkung der Zusatzanweisung.

Weiterführende Literatur

  • KI-ASSURANCE

    Prüfung. Bewertung. Nachweisbarkeit.IT, KI, GOVERNANCE & MANAGEMENT
    Kriterien für die Prüfung von KI-Ergebnissen und die Wirksamkeit von Kontrollen.
  • KI-WERTBEITRAG

    Schnelleinstieg in Kosten, Nutzen und WirtschaftlichkeitDAS WICHTIGSTE ZUERST
    In Vorbereitung. Nutzen, Aufwand und Qualität des KI-Einsatzes gemeinsam bewerten.

Arbeitshilfen zu diesem Kapitel

Rechnen Sie mit den Beispieldaten oder halten Sie den Rechenweg für Ihre eigene Arbeit fest.

  • Antwortliste zum KI-Vergleich

    Wofür? Sehen Sie beide Beispielantworten zu jeder Frage und prüfen Sie den Vergleich.

    Wann? Wenn Sie den Lehrfall nachrechnen möchten.

  • Die Antwortliste prüfen

    Wofür? Erkennen Sie fehlende, doppelte oder schwer vergleichbare Antworten.

    Wann? Bevor Sie mit dem Zählen beginnen.

  • Datenprüfung nachvollziehbar protokollieren

    Wofür? Merken Sie sich auffällige Zeilen, offene Fälle und Ihre Entscheidungen.

    Wann? Sobald bei der Prüfung Fragen auftauchen.

  • Antworten mit Excel auswerten

    Wofür? Zählen Sie unbelegte Angaben und vergleichen Sie die Antworten zu derselben Frage.

    Wann? Sobald Sie Ihre Antwortpaare bewertet haben.

  • Eine Ursachenbehauptung prüfen

    Wofür? Prüfen Sie, ob die Daten Ihren Schluss über eine Ursache stützen.

    Wann? Wenn in Ihrem Entwurf Wörter wie „bewirkt“ oder „führt zu“ stehen.

  • Auswertungsnotiz schreiben

    Wofür? Schreiben Sie Ihr Ergebnis mit Rechenweg und Fundstelle auf.

    Wann? Bevor Sie Zahlen in die Arbeit übernehmen.

Ihr Ergebnis lässt sich nachrechnen

  • Alle zwölf Fragen haben je zwei Antworten.
  • Inhalt, Vollständigkeit und Fundstelle wurden getrennt geprüft.
  • Sie kennzeichnen die Zahlen aus der Übung als Beispiele.
Unterschrift von Dr. Markus Groß

Wir benutzen Cookies

Wir nutzen Cookies auf unserer Website. Einige von ihnen sind essenziell für den Betrieb der Seite, während andere uns helfen, diese Website und die Nutzererfahrung zu verbessern. Sie können selbst entscheiden, ob Sie die Cookies zulassen möchten. Bitte beachten Sie, dass bei einer Ablehnung womöglich nicht mehr alle Funktionalitäten der Seite zur Verfügung stehen.

CookieHint and Consent by reDim GmbH (Öffnet in neuem Fenster)