Entscheidungsträger in Politik und Wirtschaft schätzen Rankings. Die Ranglisten schlagen Schneisen in das Dickicht komplizierter Sachverhalte und schaffen Übersicht in der immer komplexer werdenden, globalisierten Welt. Mit Spannung erwarten auch die Hochschulmanager die Ergebnisse der regelmäßig erscheinenden Uni-Bewertungen. Erst Mitte August war die Freude in München groß: Die Technische Universität (TUM) wurde beim Shanghai-Ranking als beste deutsche Universität eingestuft. Mit einem vorderen Platz in so einem Ranking lässt sich hervorragend um Studierende werben. Beim Einwerben von Drittmitteln und der Rekrutierung von Spitzenwissenschaftlern schadet eine gute Reputation ebenfalls nicht. Bei vielen dieser empirischen Studien gilt aber: Manche von ihnen sind simpel gestrickt und rechtfertigen mitnichten den Einfluss, den sie haben.

Unterschiedliche Ergebnisse

Das zeigt sich zum Beispiel bei den internationalen Rankings, wenn dieselben Universitäten unterschiedlich abschneiden. Dabei ist es zwar das Untersuchungsziel, die besten Unis der Welt zu küren. Es werden auch weitgehend dieselben Datenbanken genutzt. Doch der emeritierte Literaturprofessor Dr. Horst Albert Glaser hat beim Vergleich der Ergebnisse wichtiger Rankings eklatante Unterschiede festgestellt: Während etwa die Uni Göttingen beim aktuellen Leiden Ranking den hervorragenden zweiten Platz ergattert, schafft sie es beim Times Higher Education Ranking (THE) nur auf Platz 69. Die Uni Heidelberg rangiert beim THE knapp hinter Göttingen auf Rang 73, landet beim Leiden Ranking aber weit abgeschlagen auf Platz 172. Dagegen liegt Göttingen beim nordamerikanischen US News & World Report (US NWR) auf dem mäßigen Rang 149, Heidelberg aber weit davor auf Platz 53. Solcherlei Ergebnisse sprechen nicht unbedingt für die Solidität dieser Untersuchungen.

Dass die deutschen Unis bei den meisten dieser Rankings jenseits von Platz 50 rangieren, liegt nach Ansicht von Glaser auch daran, dass die angloamerikanischen Universitäten sich weitgehend aus Studiengebühren finanzieren und deshalb zwingend auf hohe Rangplätze angewiesen sind. Sie richteten ihr Profil folglich stark auf die Erfordernisse der Rankings aus. Kritiker sehen da die Freiheit der Forschung in Gefahr.
Die große Streuung der Listenplätze gehe zum Teil darauf zurück, dass viele der Studien sich nur auf sechs Indikatoren stützten, sagt Glaser. Dazu gehören Meinungsumfragen unter Wissenschaftlern, die Zahl der Publikationen und das Betreuungsverhältnis zwischen Dozenten und Studierenden. Das System wird immer fraglicher, seit veröffentlicht wurde, dass einzelne Universitäten sich eine positive Bewertung im britischen QS World University Ranking erkauft haben sollen.

„Das CHE-Ranking weist gravierende methodische Schwächen und empirische Lücken auf.“

Das Ranking des Gütersloher Centrums für Hochschulentwicklung (CHE) gilt als methodisch solider, weil es multidimensional ist und sich auf ein umfangreiches Faktenmaterial stützt. Es wird in mehreren europäischen Ländern verwendet (s. Kasten, S. 28). Dennoch hat das CHE-Hochschulranking kürzlich einen Dämpfer abbekommen. Mitte August forderte der Historikerverband seine Mitglieder auf, nicht daran teilzunehmen. Zuvor hatte bereits der Vorstand der Deutschen Gesellschaft für Soziologie (DGS) seinen Mitgliedern empfohlen, aus dem CHE-Ranking auszusteigen. Viele Soziologie-Fachbereiche sind dieser Empfehlung gefolgt. Der Vorwurf: Das CHE-Ranking weise „gravierende methodische Schwächen und empirische Lücken auf“. Es sei „wissenschaftspolitisch problematisch“ und überdies lade die Publikationsform „mit ihren Vereinfachungen zu Fehlwahrnehmungen der Sachlage ein“.

Alternative vom Wissenschaftsrat

Seit einigen Jahren arbeitet nun der Wissenschaftsrat (WR) an einem alternativen Messverfahren. Der Soziologieprofessor Dr. Stephan Lessenich von der Universität Jena und andere Kritiker der CHE-Studie versprechen sich deutlich mehr von diesem neuen Forschungsrating. Es befindet sich zwar noch im Stadium einer Pilotstudie. Die Unterschiede zu herkömmlichen Rankings sind aber deutlich zu sehen. So werden die Ergebnisse des WR-Rating nicht in Rangfolgen wie bei der Bundesligatabelle präsentiert. Erhebungseinheit sind außerdem nicht komplette Universitätsstandorte, sondern Institute und Fachbereiche. Auf diese Weise will man der Rolle einzelner Lehrstühle gerecht werden, die oft als Motoren von Innovationen und Ideen gelten. Zu den grundlegenden Neuerungen des Rating gehört auch, dass es von Wissenschaftlern selbst mitgestaltet wird.

Motiviert von der Erkenntnis, dass es bei vielen Rankings unklar bleibt, wie deren Ergebnisse zustande gekommen sind, beschloss der Wissenschaftsrat 2004, ein neues Verfahren für ein Forschungsrating zu entwickeln. „Anders als in den Rankings, wo die Bewertungen automatisiert aus quantitativen Daten generiert werden, sind sie beim Rating das Ergebnis eines sogenannten Peer-Review-Verfahrens“, sagt Dr. Elke Lütkemeier vom Wissenschaftsrat. Die Ergebnisse spiegeln das Urteil einer Gruppe von Fachgutachtern, also Kollegen aus der Wissenschaft, wider, das sie anhand einer Kombination von quantitativen und qualitativen Daten gebildet haben. Statt nur die Zahl von veröffentlichten Aufsätzen in Fachzeitschriften zu zählen, werden ausgewählte Publikationen von den Gutachtern auch gelesen und bewertet.

Im Pilotverfahren wurden je zwei sozial- und geisteswissenschaftliche sowie zwei technisch-naturwissenschaftliche Fächer untersucht. Die Auswahl der vier Fächer erfolgte nicht zufällig: Waren es im ersten Durchgang Chemie und Soziologie, wurde im zweiten Teil Elektrotechnik und Anglistik/Amerikanistik ausgesucht. „Vor allem im zweiten Teil wollten wir ein technik- und ein geisteswissenschaftliches Fach gegenüberstellen“, sagt Elke Lütkemeier. Da jede Fachgruppe ihre eigenen Spezifika hat, sollten sie nicht anhand derselben Untersuchungskategorien bewertet werden. Denn was im einen Fach die Patente, sind im anderen die Monographien. „Deshalb haben wir die Rahmenbedingungen der Studie den spezifischen Gegebenheiten des jeweiligen Fachs angepasst“, sagt Lütkemeier.

Profil mit Stärken und Schwächen

Die Forschungsleistung wird anhand der drei Dimensionen Forschung, Nachwuchsförderung und Wissenstransfer bewertet, denen sechs Kriterien zugeordnet wurden: Forschungsqualität, Effektivität/Impact, Effizienz, Nachwuchsförderung, Transfer in andere gesellschaftliche Bereiche sowie Wissensvermittlung und -verbreitung. Statt in Form von Ranglisten werden die Bewertungen in Noten von nicht befriedigend bis exzellent angegeben. Damit ergibt sich ein gut ablesbares Profil der Stärken und Schwächen der einzelnen Institute und Fachbereiche.

Auf einer Tagung, die am 21. September beim Wissenschaftsrat in Bonn stattfindet, sollen die Ergebnisse der Pilotstudie diskutiert werden. Dabei wird es auch um die Frage gehen, ob das Rating bei einer flächendeckenden Einführung verpflichtend sein soll. Bis Januar 2013 will der Wissenschaftsrat dann entscheiden, ob sein Bewertungsinstrument den Sprung vom Piloten in den Regelbetrieb schaffen wird.

Das neue Forschungsrating hat jedoch nicht nur Unterstützer. Es gibt auch skeptische Stimmen: Prof. Dr. Werner Plumpe, Vorsitzender des Historikerverbands, lehnt den Ansatz, Wissenschaft auf diese Weise zu bewerten, grundsätzlich ab. „Angesichts der Insuffizienz der sonstigen Rankings ist der Versuch des Wissenschaftsrats zwar aller Ehren wert“, sagt er. „Aber auch damit sind keine guten Ergebnisse zu erwarten.“ Denn die Forschungslage an den Fachbereichen ändere sich sehr schnell und ein Rating, welches diese hohe Dynamik abbilden wolle, müsse sehr oft gemacht werden. Dieser Aufwand sei nicht zu vertreten. Für Plumpe stellen diese Untersuchungen ein Paradoxon dar: Eine gute Studie sei nicht schnell, und eine schnelle Studie könne nicht gut sein. Die Historiker hatten 2008 die Teilnahme an der Pilotstudie des Wissenschaftsrats abgelehnt.

„Etablierte Wissenschaftler wissen, welche Hochschule für sie interessant sein könnte.“

Im Gegensatz dazu sieht Controllerin Michaela Potthast von der Universität Konstanz die Vorteile beider Studien. Einerseits will sie die Werbewirkung der herkömmlichen Rankings nicht missen. Wie viele andere nutzt auch die Konstanzer Universität die guten Bewertungen der CHE- und THE-Rankings für die Außendarstellung in der Presse und auf der eigenen Homepage.

Andererseits sieht Potthast auch die Grenzen der Bewertungstabellen: „Als Einstiegsinformation über Hochschulen sind sie gut geeignet. Aber sobald weitergehende Informationen benötigt werden, reichen sie in der Regel nicht mehr aus.“ Bei der Rekrutierung von Wissenschaftlern spielten sie zum Beispiel kaum eine Rolle. Viele Nachwuchswissenschaftler seien bei der aktuellen Situation froh, wenn sie überhaupt eine Stelle fänden. Insbesondere etablierte Wissenschaftler würden sich in der Hochschullandschaft auskennen, weiß Potthast: „Sie wissen ohnehin, welche Hochschule und welcher Fachbereich für sie interessant sein könnte.“ Ähnliches gelte für das Einwerben von Drittmitteln: Ob es sich um welche der Deutschen Forschungsgemeinschaft (DFG) oder der Industrie handele – die Geldgeber gingen meist danach, wer das Anforderungsprofil am besten erfülle und nicht, wer in den Rankings oben stehe.

Beim WR-Rating seien bessere Ergebnisse zu erwarten, sagt Potthast. Sie hält dem neuen Rating außerdem zugute, dass es von der Wissenschaft akzeptiert wird. Kritisch sieht sie aber den großen Aufwand, der dafür betrieben werden muss. Allerdings sind der Uni Konstanz, die an der Entstehung der Pilotstudie des WR beteiligt war, keine direkten Kosten entstanden und auch der Arbeitsaufwand für die Wissenschaftler ließ sich durch eine geschickte Verteilung auf ein akzeptables Maß begrenzen, sagt Pressesprecherin Julia Wandt.

Was ist eine Fachzeitschrift?

Prof. Dr. Richard Münch, Soziologe an der Uni Bamberg, war Gutachter beim ersten Teil der WR-Pilotstudie. Tatsächlich sei der Aufwand, der für das Rating betrieben werden müsse, groß, räumt er ein. „Jedes einzelne der 16 Mitglieder der Gutachtergruppe hat im Zeitraum von zwei Jahren etwa drei Monate seiner Arbeitszeit in das Begutachtungsverfahren gesteckt“, sagt er. Allerdings könne die Datenerhebung mit einer entstehenden Routine sicher vereinfacht werden. Viele Bewertungskategorien mussten bei der Ersterhebung auf ihre Gültigkeit hin untersucht werden. Bei Zeitschriftenartikeln wurde zum Beispiel geklärt, ob es sich bei der Publikation überhaupt um eine Fachzeitschrift handelt, bevor der Artikel gewertet wurde. Insgesamt aber lohne sich der Aufwand: „Das Rating hat eine weitaus höhere Aussagekraft.“

Prof. Dr. Sabine Kunst, Wissenschaftsministerin des Landes Brandenburg, ist ein „Fan“ des WR-Ratings, weil die Leistung einer Hochschule oder Wissenschaftseinrichtung über viele Indikatoren erfasst wird. Verbunden mit der Bewertung der Forschungsleistung durch Wissenschaftskollegen, stelle das Rating etwas ganz Neues dar und komme zu viel differenzierteren Bewertungen. Sie verspricht sich davon wichtige Hintergrundinformationen für wissenschaftspolitische Entscheidungen. „Dafür sind wir auf belastbare Ergebnisse angewiesen.“ So könne man Schwächen im Wissenschaftssystem angehen und nicht immer nur jene stärken, die die besten Plätze beim Ranking bekommen haben.

„Für die Hochschulen ist es besonders wichtig, dass sie von dritter Seite einen Spiegel vorgehalten bekommen.“

Soziologe Münch sieht das ähnlich: „Der Platz im Ranking korreliert in hohem Maße mit der Finanzausstattung einer Universität“, sagt er. Politik und Hochschulleitung wüssten zwar im Prinzip, wie eine Hochschule ausgestattet sei, dennoch käme es aufgrund von Ranking-Ergebnissen immer wieder zum Matthäus-Effekt: Wer hat, dem wird gegeben. Daraus ergebe sich eine Tendenz zu über- und unterausgestatteten Fachbereichen. „Beides hat negative Effekte auf die Effizienz der Hochschule“, sagt Münch. Bei den überausgestatteten gelte das Prinzip des sinkenden Grenznutzens: Jeder zusätzliche Euro bringt immer weniger. Den unterausgestatteten aber fehle schlicht das Geld, um hochwertig arbeiten zu können.

„Natürlich darf man nicht nur die Guten fördern“, sagt Prof. Dr. Dieter Jahn. „Ohne eine breite Qualität bekommen wir keine Spitze.“ Jahn ist bei der BASF zuständig für Wissenschaftsbeziehungen und arbeitet auch beim Verband der chemischen Industrie. Zudem ist er Vorsitzender des Universitätsrates der Uni Konstanz. Für die Hochschulen sei es sehr wichtig, dass sie von unabhängiger dritter Seite den Spiegel vorgehalten bekämen, in dem ihre Stärken und Schwächen aufgezeigt werden. Dafür eigne sich das WR-Rating wesentlich besser als andere Methoden.