Auftakt zum neuen Projekt „Einsatz generativer Künstlicher Intelligenz in der Hochschulverwaltung an der TUM School of Management“ war der Hackathon TUM MGT @ Microsoft. Dieser fand Anfang Dezember 2023 im Headquarter von Microsoft Deutschland in München statt. Acht Teams aus jeweils fünf Studierenden traten gegeneinander an, um innerhalb von 72 Stunden einen Large Language Model (LLM) Chatbot zu programmieren, der Studierendenanfragen schnell und zuverlässig beantwortet.

Immer mehr Studierendenfragen

Nach Schätzungen der TUM School of Management, die mehr als 6000 Studierende betreut, gehen wöchentlich rund 600 E-Mails beim Student Support der Hochschule ein. Diese werden bislang von Mitarbeitenden persönlich beantwortet. Mit dem Einsatz eines Chatbots soll eine zentrale Informationsquelle für den Studierendensupport geschaffen werden, der sowohl für die administrative Seite als auch für die Studierenden viele Vorteile verspricht: So sollen künftig thematisch wiederkehrende Studierendenanfragen reduziert, diese aber in Echtzeit beantwortet werden.

Herausforderung des Hackathons

Zu Beginn des Hackathons erhielten die acht Teams ein Datensatz-Portfolio, das aus Trainingsdaten, Interviews mit Studierenden und Mitarbeitenden im Student Support sowie präzise formulierten Problemstellungen bestand. Diese Informationen waren die Basis für die Entwicklung eines Minimal Viable Products (MVP) auf der Microsoft Azure OpenAI-Plattform. 

Folgende konkrete Aufgabenstellungen standen im Zentrum des Hackathons: 

• Finden einer effektiven Trainings- und Datenbeschaffungsmethode innerhalb des Microsoft-Ökosystems, die es dem Chatbot ermöglicht, genaue und kosteneffiziente Antworten auf Anfragen zu geben.
• Entwicklung eines LLM-Verhaltens, das sicherstellt, dass das Modell Anforderungen wie Formalitäten und inhaltliche Einschränkungen einhält und sogenannte Halluzinationen minimiert. 
• Auswahl und Aufbau einer intuitiven und modernen Benutzeroberfläche, die Studierende zur Nutzung des Tools ermutigt.
• Entwicklung eines Augmented-Reality-Benutzerflusses zur Unterstützung der Studierenden. 
• Integration eines Natural Language Processing (NLP)-Mechanismus, um die Stimmung der Studierenden zu erkennen und repetitive Fragemuster im Verlauf des Chats zu identifizieren. 

Die Jury wählte aus den acht präsentierten Chatbots zwei Gewinnerteams aus. Die Teams „TUM Support“ und „RAGgression“ landeten auf dem ersten Platz. Beide Chatbot-Prototypen lieferten eine ansprechende und kundenorientierte Kommunikation und konnten vor Ort von den Jurymitgliedern erprobt werden. 

Das Team RAGression setzt bei seinem Chatbot auf eine personalisierte Ansprache der Studierenden, sodass die Distanz in der Mensch-Maschine-Interaktion überwunden werden kann. Die Studierenden formulieren dann eine Frage, die über den Abgleich mit den Trainingsdaten innerhalb weniger Zehntelsekunden beantwortet wird. Auch für den Fall, dass der Chatbot die passende Antwort nicht finden kann, ist gesorgt. Dann erfolgt eine Weiterleitung an eine Person aus dem Studierendensupport. Fragen des Datenschutzes, der Reduzierung von Bias und des Zugangs sind ebenfalls wichtige Themen bei der Entwicklung eines Chatbots, die vom Team RAGression adressiert wurden.

Die Gewinnerteams machen auch schon konkrete Pläne für die Implementierung des Chatbots. Von der ersten Idee bis zur Testversion rechnet beispielsweise das Team RAGression mit circa drei Monaten und der Chatbot könnte bereits nach einem Jahr implementiert werden. Nicht nur die Schnelligkeit der Umsetzung ist überzeugend, sondern auch die Kostenersparnis. Das Team von TUM Support rechnet mit einer hohen Kostenersparnis durch den Einsatz des Chatbots.

Weiterentwicklung von Chatbots zum Managementassistenten von Fakultäten

Neben der Beantwortung von Studierendenanfragen kann der Chatbot in viele Richtungen weiterentwickelt werden, wie es in der Chatbotversion des Teams TUM Support angelegt ist. Diese reichen von einem Feedback an das Schoolmanagement über die Themen und die Anzahl der Studierendenanfragen, Vorschläge von Studierenden zur aktuellen Studiensituation, die Weiterleitung von relevanten Formularen bis hin zu Informationen zur Hochschulzulassung durch einen öffentlichen Chatbot auf der Website der Hochschule. 

An der TUM School of Management kam die Idee zum Einsatz von KI in der Verwaltung aus den eigenen Reihen. Initiatorin des Projekts ist Barbara Tasch, Geschäftsführerin der TUM School of Management, die mit einem Team aus vier Studierenden das Projekt weiter voranbringt. Bis zum Frühjahr 2024 soll eine erste Testversion des Chatbots entwickelt werden. 

Wie man konkret bei der Entwicklung einer generativen KI-Anwendung im Student Support vorgeht, zeigt die Checkliste. In der Vorbereitungsphase ist die Frage zu klären, welchen Zweck und welche Ziele der Chatbot verfolgt. Zudem sind die technischen Anforderungen (Sprachmodell, Hosting-Anbieter) sorgfältig zu prüfen. Da der Chatbot auf reale Daten zugreifen soll, sind darüber hinaus auch Anfragen und Antworten zum Training des Chatbots zu sammeln und aufzubereiten. Bis zur Implementierungsphase, in der der Chatbot in einer Pilotphase getestet wird, stehen noch zentrale Entscheidungen zum Retrieval Augmented Generation (RAG) System, zum Design der Benutzeroberfläche, zur Anpassung an verschiedene Endgeräte und zur Personalisierung an. Zum Projektabschluss muss zudem ein Konzept zur laufenden Wartung und Aktualisierung des Chatbots und zur Schulung des Personals und des Supports entwickelt werden.

Blick in die Zukunft

Der geplante Chatbot ist nur eine von vielen Aktivitäten, die die TUM School of Management in den nächsten drei Jahren plant, um Verwaltungsmitarbeitende durch KI-basierte Anwendungen zu entlasten. Weitere Anwendungsfelder sind für die Bereiche (komplexe) Suchen, Textgenerierung (Zusammenfassungen, Beschreibungen, Mindmaps, Social Media Posts) geplant. Ob die mit dem Projekt verfolgten Ziele, die Hochschulverwaltung effizienter und kundenorientierter zu gestalten, erreicht werden, kann voraussichtlich in drei Jahren beantwortet werden. Zur wissenschaftlichen Begleitung des Projekts wurde das Bayerische Staatsinstitut für Hochschulforschung ins Boot geholt. //