Prüfen und Bewerten im KI-Zeitalter
Hinweis: Diese Seite wird kontinuierlich erweitert. In der nächsten Zeit werden Sie hier viele weitere Verweise auf interessante Ansätze zum Thema „Prüfen und Bewerten im KI-Zeitalter“ finden können.
KI wird — über kurz oder lang — verändern, wie wir uns in der digitalen Welt bewegen, wie wir lesen, schreiben und lernen. Davon kann und sollte auch unsere Prüfungskultur an der Hochschule nicht unberührt bleiben. Auf dieser Seite finden Sie eine Sammlung externer Ressourcen, Vorträge und Good Practice Beispiele zu Möglichkeiten des Umgangs mit KI in Prüfung und Bewertung.
Handlungsempfehlungen zum Umgang mit KI-basierten Anwendungen der Universität Osnabrück
Die Handlungsempfehlungen bieten Orientierung in Bezug auf erste rechtliche Einschätzungen im Umgang mit generativen KI-basierten Anwendungen in Lehre und Studium sowie in Bezug auf allgemeine Anforderungen an Eigenständigkeit, Sorgfalt und Transparenz. Sie enthalten u. a. Muster für Eigenständigkeitserklärungen und Kursvereinbarungen, die optional verwendet werden können.
Der Fokus der Empfehlungen liegt insbesondere auf dem Verfassen schriftlicher Arbeiten im Lehr-, Lern- und Prüfungskontext und bietet in diesem Bereich Informationen für Lehrende sowie Studierende. Lehrende finden zudem Hinweise zur Gestaltung von Rahmenbedingungen für Lehrveranstaltungen. Didaktische Aspekte des Einsatzes KI-basierter Anwendungen und praxisbezogene Anregungen werden adressiert, aber an anderer Stelle ausführlicher behandelt. Entsprechende Informationsquellen sind jeweils verlinkt.
KI-Detektoren: „Kann man feststellen, ob KI in schriftlichen Arbeiten genutzt wurde?“
Die Arbeitsgruppe Technology & Academic Integrity des European Network for Academic Integrity hat KI Detektoren getestet und kam zu dem Schluss, dass wir nicht in der Lage sind, rechtssicher nachzuweisen, dass jemand beim Erstellen einer schriftlichen Arbeit KI genutzt hat, um die eigene Schreibarbeit zu erleichtern.
Weber-Wulff und Kolleg*innen fanden u.a. heraus, dass KI-Detektoren unzuverlässig sind und Output eher als menschengemacht als KI-generiert klassifizieren.
Da es keine zuverlässigen KI-Detektoren gibt, empfehlen wir bei Verdacht die Studierenden zu einem Gespräch einzuladen.
Vision einer neuen Prüfungskultur — Diskussionspapier des Hochschulforum Digitalisierung
Dieses von Jannica Budde, Joana Eichhorn und Jens Tobor entworfene Diskussionspapier basiert auf einer Workshopreihe aus dem Sommer 2023 und bietet einen ganzheitlichen, strukturierten Überblick über mögliche Entwicklungen hin zu einer zeitgemäßen Prüfungskultur. Die Autor:innen bewegen sich dabei anhand nachvollziehbarer Leitfragen („Weswegen braucht es überhaupt eine neue Prüfungskultur?“, „Wie gestalten wir den Wandel der Prüfungskultur?“) und bereiten die Ergebnisse der Workshops praxisnah auf.
Handlungsempfehlungen der Goethe-Universität Frankfurt am Main
Auch an anderen deutschen Universitäten wird sich derzeit intensiv mit dem Umgang mit generativer KI in der Lehre und der Prüfung auseinandergesetzt. Die Goethe-Uni hat auf ihrer Website ein umfangreiches Tutorial zum Einsatz von KI erstellt, in dem unter anderem auf gute wissenschaftliche Praxis und den Umgang mit KI-bezogenen Täuschingsversuchen eingegangen wird:
„Eine Täuschungshandlung liegt ebenfalls vor, wenn die gesamte Prüfung oder bedeutende Teile durch KI-Tools generiert werden, da dann eine eigenständige Leistung nicht mehr vorliegt. Es handelt sich zwar nicht um ein Plagiat, da der Text nicht von einer Person, sondern von einer Software erstellt wurde, jedoch wird über die Selbstständigkeit der Leistungserbringung getäuscht.“
Goethe-Universität Frankfurt a. M.
Das Tutorial nimmt ebenfalls Bezug auf den Leitfaden „Aus KI zitieren“ der Universität Basel.
Podcast: Prüfungen generieren mit KI? Neue Erkenntnisse aus der RWTH Aachen University
KI spielt nicht nur in der Bewertung und Bewältigung von Prüfungssituationen eine Rolle. PD Dr. Malte Persike ist Leiter des Center für Lehr- und und Lernservices spricht in diesem Podcast über eine Studie zum Thema „KI und Prüfungen“. Es geht hier vordergründig um die Erstellung und Durchführung von Prüfungen mithilfe von KI-Tools (speziell ChatGPT). Der Fokus liegt hier also weniger auf der Bewertung und mehr auf der Anwendung.
Neben der Tonspur steht auch ein detailliertes Transkript zum Nachlesen zur Verfügung.
KI-Gebrauch im Studienkontext dokumentieren – Hinweise und Arbeitsmaterialien
Wie können Lehrende konstruktiv mit dem (unvermeidlichen) Gebrauch von KI im Studium umgehen? Im Rahmen der niedersächsischen Austauschrunde zu KI in Studium und Lehre haben Kira Baresel (Universität Vechta), Cornelia Eube (Hochschule Hannover), Dagmar Knorr und Marieke Röben, (Leuphana Universität Lüneburg) sowie Ly Lutter und Jasmin de Nys (Universität Osnabrück) offen lizensierte Hinweise und Arbeitsmaterialien zum Thema KI-Gebrauch im Studienkontext dokumentieren erarbeitet (CC BY 4.0).
Reflexion, Eigenständigkeit und Transparenz bilden die Eckpfeiler von fünf Dokumentationsvorschlägen. Im Anhang des Dokuments finden Sie digitale Kopiervorlagen, um die Vorschläge einfach an die eigene Lehrveranstaltung anzupassen und in Ihre Materialen zu übernehmen.
Die Hinweise umfassen Vorschläge, wie die Verwendung KI-basierter Hilfsmittel im Bereich der Leistungserbringung reflektiert erfolgen, kenntlich gemacht und dokumentiert werden kann, damit
- Studierende eine verlässliche Orientierung für das Erbringen ihrer Prüfungsleistungen erhalten
- und persönliche Lernprozesse besser reflektieren und steuern können,
- Prüfende erbrachte Prüfungsleistungen inhaltlich und formal besser bewerten können und
- erkennen können, ob ihre Vorgaben hinsichtlich der erlaubten Hilfsmittelnutzung eingehalten wurden und
Vortrag: KI-Schreibtools — Implikationen für die Prüfungspraxis an Hochschulen
Dr. Anika Limburg und Dr. Isabella Buck befassen sich in diesem Vortrag mit KI-Schreibtools wie ChatGPT und ihren Auswirkungen auf Lehren und Prüfen:
„Schreibtools aus dem Bereich des Natural Language Processing, wie etwa ChatGPT, bearbeiten Aufgaben, die bis dato Lernziele und Inhalte akademischer Bildung waren. Die zunehmende Leistungsfähigkeit, Zugänglichkeit und Usability solcher Tools wirft nicht nur elementare Fragen nach dem Wesen von Wissenschaft im Allgemeinen auf, sondern auch konkrete und drängende Fragen zur Gestaltung der Lehr- und Prüfungspraxis an Hochschulen.„
VK:KIWA auf YouTube
Leitfaden der Universität Basel: „Aus KI zitieren“ — Umgang mit auf Künstlicher Intelligenz basierenden Tools
Ein großes Thema beim Umgang mit KI im Prüfungskontext ist die Kenntlichmachung von KI-basierten Inhalten und Anwendungen. Je nach Richtlinien der Hochschulen oder Institute gibt es festgeschriebene Richtlinien, ob, wie und in welchem Umfang bei einer Arbeit verwendete KI-Tools angegeben und zitiert werden müssen. Dieser Leitfaden der Universität Basel bietet einen kurzen Überblick über das Thema und macht konkrete Vorschläge, wie man die Zitation aus KI strukturieren und darstellen könnte.
Ideenpool: Prüfen in Zeiten generativer KI (Prof.in Marlit Annalena Lindner)
Sowohl Lehrende als auch Studierende probieren verschiedene KI-Werkzeuge aus und versuchen, die Systeme für ihre alltägliche Arbeit zu nutzen. Doch sind wir darin gleich erfolgreich?
Dieser Frage sind Nadine Kunz und Ly Lutter, Mitarbeiterinnen des Zentrum virtUOS, am 06. Juni in der Ideenpoolveranstaltung „Prüfen in Zeiten generativer KI“ mit Prof.in Marlit Annalena Lindner nachgegangen und haben wir Fragen besprochen wie:
- Was können KI-Systeme leisten und was nicht?
- Wie können wir KI-Systeme sinnvoll und berufsbezogen einsetzen?
- KI-Systeme als (unerlaubtes) Hilfsmittel – Wo liegt das Problem?
- Wie können wir “KI-sicher“ prüfen?
- Wie könnten innovative Prüfungen aussehen?
- KI-Systeme kreativ nutzen, um Prüfungsaufgaben zu konstruieren
Die Ergebnisse der Diskussion können Sie im Blogartikel zur Ideenpoolveranstaltung nachlesen.