LLM Literacy

Wie wird in Zukunft an Hochschulen wissenschaftliches Schreiben gelernt, gelehrt und geprüft? Wie macht man die Studierenden fit für die Kompetenzen von morgen?

Diese Fragen beantwortet das MWK-geförderte Forschungs- und E-Learning-Projekt KI@helpBW, das am Schreiblabor gemeinsam mit der KIT-Bibliothek bearbeitet wird. Es entwickelt einen Onlinekurs (OER, CC BY-NC 3.0), der Studierende umfassend und unter Einhaltung der guten wissenschaftlichen Praxis in den kritischen Umgang beim Schreiben mit textgenerierender KI einführt. Ziel ist es mithilfe dieses E-Learning-Angebots einerseits interdisziplinär zu erforschen, wie Studierende KI beim Schreiben nutzen und dabei ethisch korrekt handeln (können). Anderseits geht es darum, Lehrenden Prüfungsformen zur Verfügung zu stellen, die für das Bewerten von Texten unter den Bedingungen der Verfügbarkeit von KI geeignet sind.

Der Verbund von KI@helpBW arbeitet hochschulartenübergreifend unter Einbeziehung der Bibliotheken vor Ort, so dass alle Studierende und Lehrende in Baden-Württemberg davon profitieren können.

Förderzeitraum: 01.03.24 – 28.02.27

Verbundpartner: Alle Standorte der Dualen Hochschule Baden-Württemberg, Hochschule Mannheim, Hochschule der Medien Stuttgart, Pädagogische Hochschule Freiburg, Pädagogische Hochschule Heidelberg, Pädagogische Hochschule Karlsruhe

Onlinekurs Recherchieren und Schreiben mit textgenerierender KI

Tage
Stunden
Minuten
Sekunden

bis zur Veröffentlichung

Teilmodul 1.1 Warum sie nicht denken und wir trotzdem mit ihnen sprechen – Wie LLM arbeiten

  • Warum generieren LLM gute Antworten?
  • Wie bekommen LLM einen guten Satz hin?
  • Wie kommen LLM an Informationen?
  • Warum müssen LLM manchmal auch falsche Antworten geben?
  • Wie wir mit LLM sprechen
  • Warum LLM eigentlich keine künstliche Intelligenz ist

Teilmodul 1.2 Warum ich niemals KI nutzen würde, Sie es in diesem Kurs aber dennoch lernen sollten

  • Doktor KI
  • KI an der Grenze
  • ,Moral Outsourcing‘
  • Folter für Mindestlohn
  • Der echte Datenmüll
  • Warum Menschen an KI verdursten
  • Nicht jede KI-Nutzer:in ist Rassist:in, weiß und heterosexuell
  • KI macht arm und arbeitslos
  • Warum Populisten KI nutzen

Einführung

  • Warum Sie KI nicht in allen Phasen der Recherche nutzen sollen
  • kreative, bibliografische und Volltext-Arbeit

 

Teilmodul 2.1 Vorbereitung und Durchführung

  • Sinnvoller Einsatz von KI-Tools in der Vorbereitung (kreative Arbeit: Suchbegriffstabelle, Suchstrings)
  • Anwendungsbeispiele
  • Problematisierung der Verwendung von KI-Tools in der Vorbereitung
  • Sinnvoller Einsatz von KI-Tools in der Durchführung (bibliografische Arbeit: Quellen finden)
  • Anwendungsbeispiele
  • Problematisierung der Verwendung von KI-Tools in der Durchführung

 

Teilmodul 2.2 Auswertung und Verwaltung

  • Sinnvoller Einsatz von KI-Tools in der Auswertung (Volltext-Arbeit: Quellen rastern, selektieren)
  • Anwendungsbeispiele
  • Problematisierung der Verwendung von KI-Tools in der Auswertung
  • Sinnvoller Einsatz von KI-Tools in der Verwaltung (Quellen verwalten)
  • Anwendungsbeispiele
  • Problematisierung der Verwendung von KI-Tools in der Verwaltung

Teilmodul 3.1 Wie Studierende KI beim wissenschaftlichen Schreiben nutzen

  • Wissenschaftlichen Text schreiben lassen
  • Notizen und Stichworte ausformulieren lassen
  • Gliederungen erstellen lassen
  • Textteile bearbeiten lassen
  • Stilistische Schwächen redigieren lassen
  • Rechtschreibung und Grammatik korrigieren lassen
  • Nicht-wissenschaftliche Bestandteile eines wissenschaftlichen Texts schreiben lassen
  • KI als Schreibprozesshilfe
  • KI als Diskussionspartner

 

Teilmodul 3.2 Prompting

  • Eine Sprache lernen für ein System, das spricht?
  • Wie macht die KI das, was ich will?
  • Aus welchen Elementen kann ein Prompt bestehen?
  • Anwendungsbeispiel: Abstract formulieren mit KI
  • Antwortlänge vorgeben
  • Fachkontext herstellen
  • Rolle zuweisen
  • Prompts speichern, überarbeiten, weitergeben

 

Teilmodul 3.3 Textredaktion mit KI

  • Wissenschaft ist nicht kompliziert
  • Aktivformulierungen lesen sich besser
  • Selbstsicher und eindeutig schreiben
  • Warum Wissenschaftler:innen nicht immer im Präsens schreiben
  • Wiederholungen sind langweilig
  • Modelle und Forschungslinien pointieren
  • Kritik an Forschung formulieren
  • Auf Forschung aufbauen
  • Stilistische Finalisierung von Überschriften

Teilmodul 4.1 Kommunikation im Nebel

  • Einführung in die Thematik (basierend auf: Kommunikationsmodell nach Shannon & Weaver ergänzt durch textgenerierende KI)
  • Interview mit Expert:innen
  • Reflexionsaufgaben

 

Teilmodul 4.2 Rhetoriktrainer oder Langweiler?

  • Einführung in die Thematik: Aufgaben bei der Vorbereitung einer rhetorischen Rede
  • Interview mit Expert:innen
  • Reflexionsaufgaben

 

Teilmodul 4.3 Kann KI meine Schreibblockaden coachen?

  • Einführung in die Thematik: Schreibtypen in Zeiten textgenerierender KI
  • Interview mit Expert:innen
  • Reflexionsaufgaben

Prüfungsformen

Unabhängig von der Erarbeitung und Erforschung des Onlinekurses stellt das Projekt KI@helpBW Lehrenden akademische Prüfungsformen bereit, die das Bewerten von Texten unabhängig einer Nutzung von KI durch die Studierenden ermöglichen.

Jede dieser Prüfungsformen umfasst neben der eigentlichen Schreibaufgabe eine Anleitung für Studierende sowie eine hochschuldidaktische Handreichung für Lehrende.

Essay schreiben

Wir verstehen unter einem Essay „einen kurzen Text, in dem in allgemein verständlicher Form eine Überlegung oder ein Argument entwickelt wird.”

Bezugspunkt ist die Angelsächsische Tradition in Nachfolge von Francis Bacon, welche „die erklärende und argumentative Struktur des Essays” betont. (Frank, A., Haacke, S., & Lahm, S. (2013). Schlüsselkompetenzen: Schreiben in Studium und Beruf (2., aktualisierte und erweiterte Auflage). Verlag J.B. Metzler, S. 175.)

Formalia:

  • Umfang: Zwei Seiten zu einem spezifischen Fachthema.
  • Einbindung von Quellen, Abbildungen und Tabellen (je nach Fachrichtung)

Unsere Arbeitshypothesen:

  1. Mangelnde Originalität, ausufernder Text, fehlende Nuance und vage Sprache legen nahe, dass der vorliegende Text von einer KI stammt. (Semrl, N., Feigl, S., Taumberger, N., Bracic, T., Fluhr, H., Blockeel, C., & Kollmann, M. (2023). AI language models in human reproduction research: Exploring ChatGPT’s potential to assist academic writing. Human Reproduction, 38 (12), 2281–2288, hier 2286.)
  2. Das Verhältnis von einer eigenständigen Stimme zum argumentativen Standpunkt ist ein zentrales Bewertungskriterium.
  3. Ein überzeugender Essay entsteht nur durch einen umfassenden Reflektionsprozess.

Die Essays werden anhand der folgenden Kriterien bewertet

  • Argumentationstiefe, -struktur und -aufbau
  • Komplexitätsgrad
  • Prägnanz
  • Ausgewogenheit von Subjektivität und Objektivität
  • Originalität und Überraschungsmoment

Input:

  • Was ist ein Essay?
  • Einführung in das wissenschaftliche Argumentieren
  • Unterstützende Prompt-Strategien
  • Anleitung: Essays im Studium schreiben lassen.
  • (Sprachlicher) Bewertungskatalog in Anlehnung an die erforschten Bewertungskriterien
  • Orientierungshilfen für das Identifizieren von Argumentations- und Subjektivitätsmarkern

KI-Schreibtagebuch

  • Studierende dokumentieren ihre Nutzungsformen beim Einsatz von KI
  • Studierende sind in der Art und Weise frei, wie sie ihre Nutzung dokumentieren
  • KI-Schreibtagebuch als Tabelle, in die Studierende u.a. eingegebene Prompts, Promptausgaben und eine begründete Bewertung des KI-Einsatzes eintragen
  • KI-Schreibtagebuch zeigt auch auf, ob und wie KI-Output nachgeprüft wurde
  • KI-Schreibtagebuch strukturiert den Dokumentationsprozess der Studierenden
  • Wie kann der Einsatz textgenerierender KI so dokumentiert werden, dass daraus eine Prüfungsform wird?
  • Welche studentischen Nutzungsformen textgenerierender KI gibt es?

  • Handreichung gibt Orientierung, wie sich der Dokumentationsprozess von Studierenden steuern lässt
  • Handreichung zeigt auf, was dokumentiert werden sollte
  • Flexible Anpassungsmöglichkeiten der Schreibaufgabe

Nachgelagerte Textüberprüfung

  • Aufgabenstellung: „Überarbeiten Sie einen eigenen, ohne Zuhilfenahme von KI geschriebenen, Text mithilfe von KI in Form und Stil.“
  • keine Vorgaben hinsichtlich Länge, Niveau, Form, u.a.
  • Studierende reichen sowohl den Originaltext als auch den überarbeiteten Text ein und erhalten Feedback zu ihrer Überarbeitung.

Kann die Nutzung von KI zu einer intensiveren Auseinandersetzung mit dem eigenen Text und zu einer Verbesserung der Textform (Redaktionskompetenz) führen?

  • Essenz der Inhalte aus Teilmodul 3.3:
    • Einführung in die redaktionelle Arbeit mit KI
    • Strukturprompts
    • Stilprompts
    • Paraphrasenprompts
  • Input zur Problematisierung der Trennung von Form und Inhalt im Umgang mit KI
  • Bewertungsraster zur Beurteilung der formalen und stilistischen Überarbeitung
  • Das Raster orientiert sich an den redlichen Überarbeitungsoptionen mit KI, die die Anleitung für Studierende vorstellt:
    • Textstruktur: Organisation der Textteile, Argumentation, Aufteilung in Sinnabschnitte, Kapitelüberschriften
    • Stil: Satzbau, Aktiv und Passiv, Modalverben, Konjunktiv, Tempus, Nominalstil, allgemeines Sprachniveau (Wissenschaftssprache, Fachsprache), Textfluss
    • Zitation: Vollständigkeit der Belege, korrekte inhaltliche Darstellung der Forschung, funktionale Einbindung in den Text

Prüfungsgespräch

  • Mündliche Verteidigung eines mithilfe von KI selbst verfassten akademischen Textes
  • Prüfungsgespräch wird beobachtet und anhand eines Leitfadens dokumentiert

Kann man anhand eines Prüfungsgesprächs feststellen, ob Studierende die Inhalte eines mit KI verfassten wissenschaftlichen Textes selbstständig erarbeitet und durchdrungen haben?

  • Leitfaden, wie ein Prüfungsgespräch zu führen ist, inkl. Fragenspektrum
    • Inhalt (Fachbegriffe, Kontext, …)
    • Argumentation
    • Gebrauch relevanter Fachbegriffe (Sprachverwendung)
    • Quellen
  • Reflexionsbogen
    • Punkte des Leitfadens und zusätzlich
    • Grad der Interaktivität
    • Irritation
    • Prozess
  • Leitfaden für Prüfende angepasst auf Bedürfnisse der Studierende
  • Einblick, was im Prüfungsgespräch von Relevanz ist
  • Grundzüge der Argumentation
  • Strategie- und Diskussionsprompts zur Vorbereitung auf das Prüfungsgespräch mit KI

Team