Auf Initiative von Prof. Dr. Isabell Welpe wird das Projekt vom Bayerischen Staatsinstitut für Hochschulforschung und Hochschulplanung (IHF) im Rahmen einer Mixed-Method-Studie im Zeitraum 1/2024 bis 6/2026 wissenschaftlich begleitet. Neben Experteninterviews und Fokusgruppen werden Mitarbeitende des School Office sowie Studierende zum Chatbot pAIge mittels einer Online-Befragung zu ihren Erfahrungen befragt. Inspiriert durch den Besuch Sam Altmann, dem Gründer von OpenAI, wird seit November 2023 an der TUM School of Management mit generativer KI in der Hochschulverwaltung experimentiert. Diese Aktivitäten umfassen nicht nur den Einsatz von ChatGPT und Co. für Recherchen, Bild- und Texterzeugung, Analyse und Strukturierung von Daten, sondern auch die Entwicklung eines Chatbots für den Studierendensupport (siehe DUZ Wissenschaft & Management 02/2024).

Wie gelingt es, die Mitarbeitenden für diese neuen Technologien zu gewinnen? Wie verändert der Einsatz generativer KI die Arbeitsprozesse? Kann generative KI das Versprechen, die Effizienz und Effektivität zu steigern, einlösen? Trägt generative KI dazu bei, dass die Motivation und Arbeitszufriedenheit der Mitarbeitenden gesteigert wird? Diese Fragen stehen im Mittelpunkt der prozessbegleitenden Evaluation durch das IHF, aus der erste Ergebnisse vorliegen.

Zur Methode

Das Team der TUM School of Management wurde im Rahmen von Expertenbefragungen und einer Fokusgruppe befragt. Zudem wurden die Erfahrungen im Umgang mit generativer KI am Arbeitsplatz im Rahmen einer Online-Befragung berichtet. Wie gut der Chatbot im Vergleich zum traditionellen Studierendensupport abgeschnitten hat, wurde im Rahmen einer Studierendenbefragung analysiert.

Zum Auftakt des Projekts: Schulung für alle Mitarbeitenden

Zum Auftakt des Projekts wurde eine Schulung für die über 60 Mitarbeitenden der Fakultätsverwaltung angeboten sowie Schulungsunterlagen für die verschiedenen Use Cases von generativer KI im School Office erstellt. Etwas mehr als die Hälfte der Mitarbeitenden hat an der Schulung teilgenommen (54 Prozent). Von diesen schätzten 74 Prozent die Schulung als gut oder sehr gut im Hinblick auf die Vorbereitung von generativer KI am Arbeitsplatz ein.

KI als Experimentierfeld: Positive Ergebnisse werden ins Team zurückgespielt

Es wird ein Bottom-Up Ansatz verfolgt, bei dem im ersten Schritt das Experimentieren mit den verschiedenen Einsatzmöglichkeiten von ChatGPT und anderen Tools im Vordergrund steht. Im zweiten Schritt werden für die verschiedenen Arbeitsbereiche Best Practices gesammelt, um von der Experimentierphase in die konkrete Arbeitsanweisung zu kommen. Die Transformation der Arbeitsabläufe wird auch im Zusammenhang mit der Teamentwicklung gesehen. Haben sich einzelne Tools für bestimmte Arbeitsaufgaben bewährt, werden diese für die zukünftige Bearbeitung von Aufgaben an das komplette Team zurückgespielt. 

Am häufigsten wird GenAI für Recherche und Texterzeugung genutzt

Erste Ergebnisse zur Nutzung von generativer KI durch die Mitarbeiterinnen und Mitarbeiter im School Office zeigen, dass KI vor allem zur Texterstellung (40 Prozent nutzen es häufig bis sehr häufig) und für die Informationssuche (26 Prozent nutzen es häufig bis sehr häufig) eingesetzt wird. Seltener wird generative KI für die Bildgenerierung oder die Programmierung verwendet.

Generative KI verbessert Arbeitsleistung und Effizienz

Mit der Einführung von generativer KI im School Office ist nicht nur das Ziel verbunden, die Effizienz zu steigern und die Mitarbeitenden von zeitaufwändigen Routineaufgaben zu entlasten. Darüber hinaus werden auch positive Effekte auf die Arbeitszufriedenheit und die Motivation der Mitarbeiterinnen und Mitarbeiter sowie ihre Identifikation erwartet: „Beschleunigung und Effizienz wären zum Beispiel Zielgrößen. Aber es sind auch nicht-monetäre Faktoren wie beispielsweise Arbeitszufriedenheit und Identifikation möglich“, sagt der Managing Director in der Expertenbefragung.

Die Auswertung der Mitarbeiterbefragung zeigt, dass die Erwartungen im Hinblick auf die Verbesserung der Arbeitsleistung und die Effizienz der Arbeitsaufgaben bereits in den ersten sechs Monaten nach der Einführung von generativer KI weitestgehend erfüllt wurden. Rund 78 Prozent der Mitarbeitenden des School Office gaben an, dass der Einsatz von KI-Tools ihre Arbeitsleistung verbessert hat und fast 83 Prozent stimmen der Aussage zu, dass der Einsatz von KI ihnen hilft, ihre Aufgaben effizienter zu erledigen. Darüber hinaus bringt die Integration von KI in den Arbeitsalltag aus Sicht der Mitarbeitenden viele Vorteile mit sich: Eine Steigerung der Motivation wird von mehr als einem Drittel der Mitarbeiterinnen und Mitarbeiter als zentraler Vorteil genannt. Weitere Vorteile sind die Steigerung der Kreativität und die Verbesserung der Kommunikation.

Akzeptanz bei den Mitarbeitenden

Ein hoher Motivationsfaktor für die Mitarbeitenden ist die zu erwartende Zeitersparnis durch den Einsatz von KI. „Generative KI ist für mich das Versprechen, im Bereich Management ein Werkzeug zu nutzen, was uns in unseren Aufgaben Entlastung bringen kann, insbesondere bei Aufgaben, die einen sehr repetitiven Charakter haben“, sagt ein Teilnehmer der Fokusgruppe. Zudem wird die Offenheit, neue Werkzeuge zu erproben und eigene Erfahrungen im jeweiligen Tätigkeitsfeld zu machen, von den Mitarbeitenden positiv hervorgehoben. Schließlich ist der Austausch im Team, Erfahrungen in das Team zurückzuspielen, ein zentraler Faktor, weil auf diese Weise Kompetenzen bei den Teammitgliedern aufgebaut werden können. Wie sehr das Team die technologischen Veränderungen mitträgt, wird darin deutlich, dass 76 Prozent der Mitarbeitenden der Ansicht sind, dass der Nutzen von generativer KI am Arbeitsplatz im Vergleich zu den potenziellen Nachteilen überwiegt.

Rechtssicheren Rahmen schaffen

Generative KI verspricht hohe Effizienzgewinne in der Hochschulverwaltung. Gleichzeitig sind mit dem Einsatz von KI auch Risiken verbunden, wie etwa die Verletzung des Datenschutzes, Intransparenz, Vorurteile, Urheberrechtsverletzungen, Ungenauigkeit der Ergebnisse. In der Hochschulverwaltung ist daher ein verantwortungsvoller Umgang mit KI notwendig, der ethische und rechtliche Grundsätze wahrt, um Risiken und negative Folgen beim Einsatz von KI zu minimieren. Das Management wird hier in der Pflicht gesehen, einen rechtssicheren Rahmen für die Mitarbeitenden zu schaffen.

Insgesamt besteht bei den Mitarbeitenden ein großes Vertrauen in generative KI-Anwendungen. 84 Prozent der Mitarbeitenden sind der Ansicht, dass sie sich auf generative KI bei der Erledigung ihrer Arbeitsaufgaben verlassen können. Aus den Einschätzungen der Teilnehmenden der Fokusgruppe geht hervor, dass die Mitarbeitenden die Grenzen und Schwächen von KI-Tools reflektieren und auch die Notwendigkeit betonen, die KI-generierten Ergebnisse sorgfältig zu prüfen.

KI in der Hochschulverwaltung als Leadership-Aufgabe

Die Implementierung von KI in Hochschulverwaltung und die Schaffung von Akzeptanz bei den Mitarbeitenden ist eine Führungsaufgabe. Dies wird in dem Experteninterview mit der Leitung der TUM School of Management deutlich. Die strategischen Ziele der Leitung sollten mit den praktischen Bedürfnissen der Mitarbeitenden in Einklang gebracht werden. Dies gelingt nicht nur durch Training und Feedback, sondern auch durch eine Organisationskultur des Experimentierens und Ausprobierens.

An zwei Best-Practice-Beispielen wird deutlich, wie KI in der Praxis an einer Fakultät zum Einsatz kommt: bei der Analyse und Strukturierung von Daten zur Erstellung einer Curriculum-Map (Use Case 1) und bei der Planung von Veranstaltungen (Use Case 2).

Use Case 1: Analyse und Zuordnung von Daten: Das Beispiel Curriculum-Map

Vorbemerkung: ChatGPT darf im School Office der TUM School of Management bei frei im Netz zugänglichen Informationen für die Analyse und Zuordnung von Daten eingesetzt werden.

Der Case: Für ihre Akkreditierung erstellt die TUM School of Management regelmäßig eine Curriculum-Map. Dazu sind alle Module der 14 Studienprogramme verschiedenen Lernzielen zuzuordnen. In der Vergangenheit wurde hierzu eine Matrix aller Module erstellt und die Modulverantwortlichen wurden zur entsprechenden Zuordnung ihrer Module zu den Lernzielen aufgefordert. Es handelt sich um eine sehr zeitintensive Aufgabe, da die Dozierenden ihre Modulbeschreibungen durchsuchen und auswerten müssen, um eine Zuordnung und Gewichtung zu den Lernzielen vornehmen zu können. Für den aktuellen Turnus wurde diese Curriculum Map mit Hilfe von ChatGPT erstellt. Hierzu wurden die Inhalte der frei im Netz verfügbaren Modulhandbücher der TUM School of Management in ChatGPT eingespeist.

Das KI-System wurde aufgefordert, die 14 Modulhandbücher mit ihren rund zwölf bis zu über 100 Modulen den sieben Lernzielen je Programm zuzuordnen. Dafür durchforstete die KI Modulbeschreibungen und Prüfungsformate und ordnete diese systematisch den geforderten Lernzielen mithilfe eines Ratings von 1 (wenig Überschneidung) bis 5 (maximale Überschneidung) zu. Durch die Analyse der Module und ihrer Zuordnung zu den Lernzielen identifizierte ChatGPT die Module und ihre Prüfungsformate, die am geeignetsten für die Lernzielmessung sind. Dieses mit ChatGPT durchgeführte Mapping reduzierte den Arbeitsaufwand erheblich. Zudem konnte mit der KI-basierten Analyse eine höhere Objektivität in der Zuordnung der Module zu den Lernzielen erreicht werden, als dieses bei einer individuellen Beurteilung durch die Modulverantwortlichen möglich gewesen wäre.

Use Case 2: Organisation von Veranstaltungen: Das Beispiel Teamtag

Vorbemerkung: Das Team im School Office der TUM School of Management verfügt über große Expertise in der Eventplanung und in der Durchführung von Teamentwicklungsmaßnahmen.

Der Case: Teamentwicklung findet in der TUM School of Management häufig durch eintägige Events statt. Im Mittelpunkt stehen dabei Themen, die vom Leitungsteam für die Organisation für wichtig erachtet werden. Für einen erfolgreichen Teamtag ist ein minutiöser Regieplan, mit dessen Hilfe der Tag moderiert und durchgeführt wird, maßgeblich. Während in der Vergangenheit der Regieplan manuell erstellt wurde, wird hierfür mittlerweile ChatGPT eingesetzt. Für das konkrete Beispiel wurde ChatGPT aufgefordert im Rahmen eines vorgegebenen Zeitslots den Regieplan mit den gewünschten Aktivitäten, den verantwortlichen Akteuren und weiteren wichtigen Informationen zu erstellen. ChatGPT wurde zudem in der inhaltlichen Ausgestaltung der verschiedenen Slots zum Brainstorming genutzt.

Es wurde abschließend aufgefordert, anhand der Anzahl der Teilnehmerinnen und Teilnehmer eine Prognose abzugeben, ob die verschiedenen Slots zeitlich ausreichend geplant waren. Abschließend wurde ChatGPT auf Basis des KI ausgearbeiteten Regieplans genutzt, um eine geeignete Kommunikation des Teamtags auf Deutsch und Englisch an die Teilnehmerinnen und Teilnehmer vorzuschlagen. Durch den Einsatz von ChatGPT hat sich der Zeiteinsatz für die Organisation des Teamtags erheblich verkürzt. Zudem hat das KI-System Vorschläge für den Tag unterbreitet, die hilfreich und bereichernd waren.

Insgesamt zeigen die ersten Ergebnisse der prozessbegleitenden Evaluation, dass der Einsatz generativer KI in der Hochschulverwaltung von Seiten der Mitarbeitenden auf hohe Akzeptanz stößt und positive Effekte auf die Qualität der Arbeitsleistung und die Effizienz der Arbeitsaufgaben hat. Als erfolgversprechender Weg hat sich nicht nur die Schulung zu Beginn des Projekts erwiesen, sondern auch die Strategie der Geschäftsführung, verschiedene Tools auszuprobieren, um Stärken und Schwächen der Anwendungen und ihre Eignung für Verwaltungsprozesse in Hochschulen zu erproben, und diese Erfahrungen in das Team zurückzuspielen.

Chatbot pAIge für die Studierendenberatung

Der Chatbot pAIge, eine innovative, KI-gestützte Plattform der TUM School of Management, unterstützt Studierende bei Fragen rund um das Studium, Prüfungen und administrativen Prozessen. Er bietet schnelle Antworten, Beratung bei der Modulwahl sowie Infos zu Veranstaltungen und Fristen. Die KI basiert auf modernen Sprachmodellen und wird regelmäßig mit aktuellen Inhalten der Fakultät aktualisiert. Dadurch entlastet pAIge die Verwaltung und bietet eine zuverlässige Orientierungshilfe.

Die Auswertung einer Studierendenbefragung an der TUM School of Management ergab, dass der Chatbot insbesondere bei der Bedienungsfreundlichkeit, der Vertrauenswürdigkeit der Informationen, der Antwortstruktur und der Freundlichkeit hohe Zustimmungswerte unter den Studierenden erzielt. Etwas schlechter fielen die Zustimmungswerte bei der Dauer der Informationssuche, der Fähigkeit, die Antworten adäquat zu beantworten, und der Qualität der Informationen aus. Die Beantwortung von Studierendenanfragen durch einen Chatbot kann daher ein probates Mittel sein, um häufig gestellte Antworten in Echtzeit zu beantworten und damit die Verwaltungsmitarbeitenden zu entlasten. Für komplexe oder auf Einzelfälle bezogene Fragen ist der persönliche Austausch vorzuziehen, sodass Chatbots zwar den Studierendensupport entlasten, aber nicht ersetzen können.

Der TUM School of Management Chatbot pAIge nutzt die Technik der Retrieval-Augmented Generation (RAG), um präzise und aktuelle Antworten auf studentische Anfragen zu liefern. Dabei kombiniert RAG die Fähigkeiten großer Sprachmodelle (LLMs) mit dem Abruf externer Informationen. Konkret greift pAIge auf das FAQ- und Download-Center der TUM School of Management zu, durchsucht diese internen Datenquellen in Echtzeit nach relevanten Inhalten und integriert die gefundenen Informationen in die generierten Antworten. Durch diese Vorgehensweise kann der Chatbot genaue und kontextbezogene Auskünfte in natürlicher Sprache bereitstellen, ohne ausschließlich auf vordefinierte Antworten oder statische Trainingsdaten angewiesen zu sein. //

Der TUM MGT Chatbot pAIge ist in die Website www.mgt.tum.de implementiert.