Der Platzhirsch-Effekt
Ob in Brüssel, Berlin oder Bonn: Die Zeiten, in denen Gutachter allein im stillen Kämmerlein über Forschungsanträge urteilten, sind weitgehend vorbei. Heute erfolgt die Entscheidungsfindung in Ausschüssen. Das ist gefährlich, sagen Experten und warnen vor der Dominanz renommierter Wissenschaftler.
Soeben haben die Antragsteller vorgesprochen und sich mit Verve für ihr Forschungsvorhaben eingesetzt. Nun sitzt die Gutachtergruppe in Klausur. Sie soll darüber entscheiden, ob der Antrag als Empfehlung an den Bewilligungsausschuss der Deutschen Forschungsgemeinschaft (DFG) geht. Zeigen die Daumen der Gutachter nach oben oder nach unten? Bis die Entscheidung fällt, wird meist ausführlich diskutiert. Schließlich muss am Ende ein einhelliges Urteil der Runde stehen, die mitunter bis zu einem Dutzend Mitglieder haben kann.
Solche Szenen sind nicht ungewöhnlich in der deutschen und europäischen Forschungsförderung. Die Zeiten, in denen Gutachter allein im stillen Kämmerlein die Anträge prüften, sind weitgehend vorbei. So hat der Europäische Forschungsrat (ERC) unlängst seine diesjährigen Stipendien für herausragende Forscher vergeben, die Starting- und Advanced-Grants. Diese Stipendiaten werden ausschließlich von mehreren Gutachtern in Gruppen bewertet. Peer-Review-Verfahren im Panel lautet der Fachausdruck dafür. Auch bei der DFG ist die Begutachtung von Anträgen in Ausschüssen zum Standard geworden. Insgesamt läuft mittlerweile etwas mehr als die Hälfte des DFG-Fördergeschehens über Gruppen: Alle Sonderforschungsbereiche (SFB), Graduiertenkollegs, Vorhaben in Schwerpunktprogrammen und Forschergruppen sowie alle Cluster und Schulen der Exzellenzinitiative.
Doch welche Vorteile sollen die Panels eigentlich bringen? Dr. Robert Paul Königs stellt als Leiter der DFG-Abteilung für Forschungsförderung Gutachtergruppen zusammen. Er sagt, sie seien nötig, um den immer komplexer und interdisziplinärer werdenden Anträgen gerecht zu werden. „Panels werden so zusammengestellt, dass nach Möglichkeit alle wesentlichen Aspekte des Antrags in der Gruppe vertreten sind. Gutachter können die Antragsteile, die ihre Fachgebiete betreffen, den anderen Kollegen dann besser erklären.“ Sein Kollege Dr. Klaus Wehrberger ist Gruppenleiter für Sonderforschungsbereiche bei der DFG. Er glaubt, dass der „fachübergreifende Dialog“ das Ergebnis der Evaluierung stärker von Einzelmeinungen und Zufälligkeiten befreien kann: „Der Chemiker und der Physiker zum Beispiel unterhalten sich über ihre jeweiligen Metiers, die Synthese muss nicht erst hinterher geschaffen werden. Bewertungsmaßstäbe können im Dialog geeicht werden.“ Oft träfen auch nationale und internationale Perspektiven aufeinander. Das sei für Aussichten eines Projekts im internationalen Wettbewerb relevant. Zudem ließen sich verschiedene Altersgruppen berücksichtigen, jüngere Kollegen könnten etwa das Kriterium Nachwuchsförderung anders beurteilen.
Probleme eigener Art
Gleichwohl bringt die Begutachtung in der Gruppe auch Nachteile mit sich. Sie beginnen schon mit logistischen Schwierigkeiten, etwa für die Begehung eines Sonderforschungsbereichs. „Stellt man ein Panel zusammen, dann ist es sehr aufwändig, die geeigneten Personen zu einem Termin an einem Ort zusammenzubringen“, sagt Königs. Organisatorische Vorgaben für den Ablauf seien daher unverzichtbar.
Dass das mitunter eigenartige Züge annimmt, meint der Heidelberger Indologe und Sprecher des dortigen SFB „Ritualdynamik“, Prof. Dr. Axel Michaels. In einem Zeitungsartikel verglich er die Evaluation mit einem mittelalterlichen Herrschertreffen. Michaels zitierte etwa Vordrucke der DFG zur Anordnung der Stühle oder der Bewirtung: „... einen Mittagsimbiss am ersten Tag, ein Abendessen während der Klausur am ersten Tag und einen Mittagsimbiss am zweiten Tag. Bitte denken Sie auch an die Bereitstellung vegetarischer Speisen, Obst und ggf. Süßes ...“
Neben den organisatorischen Problemen einer Panel-Begutachtung können aber auch innerhalb der Gruppen unerwünschte Effekte eintreten. So kommt es bei den Klausursitzungen mitunter dazu, dass sich Platzhirsche herausbilden. Sie würden Entscheidungsprozesse einseitig beeinflussen, sagt der Paderborner Arbeits- und Organisationspsychologe Prof. Dr. Niclas Schaper (siehe Interview unten). Er kennt Rollenmuster wie diese auch aus eigener Tätigkeit als Gutachter. Solche Fälle seien zwar nicht die Regel, auch könne die Gruppe als Korrektiv wirken, wenn jemand in diese Richtung tendiere, sagt DFG-Gruppenleiter Wehrberger. Eine andere Gefahr sei aber, dass die Teilnehmer im Verbund weniger mutig seien und sich am Ende bei den Anträgen Mittelmaß durchsetze.
Probleme wie diese sind derzeit bereits Gegenstand wissenschaftlicher Forschung. Ein Projekt des Berliner Instituts für Forschungsinformation und Qualitätssicherung (iFQ) untersucht Gruppenbegutachtungen am Beispiel von Sonderforschungsbereichen. Die Autoren beobachten dazu alle Stufen des Prozesses, führen Interviews mit Gutachtern und Antragsstellern und fragen nach individuellen Benotungen des Antrags in verschiedenen Stadien der Begutachtung. So sollen typische Problemfelder von Panel-Begutachtungen lokalisiert werden. Erste zeigen sich bereits: Im Falle einer Begutachtung brachte es ein Teilnehmer auf 70 Wortbeiträge, ein anderer auf elf. Beim iFQ sieht man teils auch starke Abweichungen zwischen der Einzelmeinung vor der Debatte und dem Gruppenurteil am Ende. Wenn zwischen den Experten für die einzelnen Teilprojekte Konsens herrsche, fänden kaum mehr Diskussionen statt, heißt es.
Solchen Gefahren kann eine geschickte Moderation im Panel begegnen, wenn sie einzelne Mitglieder etwa zur Stellungnahme auffordert. Unter anderem in der Begutachtung von Graduiertenschulen oder SFBs kommen deshalb bei der DFG sogenannte Berichterstatter zum Einsatz. Sie treten nicht selbst als Gutachter auf, sondern verfolgen als Beobachter die Diskussion. Dem späteren DFG-Entscheidungsgremium können sie auch über das Klima im Team berichten. Beschwert habe sich noch kaum ein Gutachter darüber, dass er sich manchmal der Mehrheit beugen musste, sagt Gruppenleiter Wehrberger. Eher herrsche zuweilen Unmut darüber, dass ein von der Gruppe favorisierter Antrag anschließend beim DFG-Bewilligungsausschuss den Kürzeren zog. „Wissenschaftler haben eine sehr gut entwickelte Diskussionskultur, das gehört zum Selbstverständnis des Standes“, sagt DFG-Abteilungsleiter Königs. Als Mitglied eines Gutachter-Gremiums würden Wissenschaftler auch an Renommee gewinnen und wären „gerade deswegen an einem guten Gelingen interessiert, alles andere wäre schlechter Stil“.
Die Evaluierung ist nicht immer vertraulich. Die Antragsteller müssen ihre Vorhaben mitunter vor den Gutachtern präsentieren. Das kann sich positiv auf die Gruppensituation auswirken und eine festgefahrene Situation auflösen.
Der persönliche Auftritt kann aber auch für die Antragsteller Vorteile bringen. Wenn die Gutachter sehen, wie die Forscher auf kritische Nachfragen reagieren, bleibt das nicht unberücksichtigt. „Kleine Defizite im schriftlichen Antrag können hier sehr wohl ausgemerzt werden – wenn man die Begeisterung der Forscher spürt, das Leuchten in den Augen sieht“, sagt Königs. Dieses Leuchten in den Augen war der Linguistin Dr. Marianne Pouplier von der Ludwig-Maximilians-Universität München wohl anzusehen. Ihr Projekt erhielt ein 1,5 Millionen Euro schweres Stipendium des Europäischen Forschungsrats. Mit dem Geld will Pouplier etwa erforschen, ob rein aus Konsonanten bestehende Wörter wie das georgische „prtskvn“ für „schälen“ bei den Zungenbewegungen mehr Aufwand erfordern.
„Da muss der Vortrag sitzen wie ´ne Eins.“
Experten aus vielen Fachbereichen
Ein zu spezielles Thema für eine Gruppenbegutachtung? Irrtum. Die ERC-Gruppen sind in der Regel mit Experten aus vielen Fachbereichen besetzt. In Poupliers Panel sitzen neben Linguisten auch Psychologen, Evolutionsbiologen oder Philosophen. Diese Bandbreite bringt für die Antragsteller besondere Schwierigkeiten mit sich. Sie müssen ihre Anträge so verfassen, dass auch Mitglieder ohne dezidiert fachliche Expertise überzeugt werden.
Zudem sei das persönliche Vorsprechen in Brüssel eine Herausforderung. Da es sich bei den Bewerbern meist um relativ junge Leute handele, wolle das Panel sicher sehen, dass da nicht in Wirklichkeit der Doktorvater die Strippen zieht, glaubt Pouplier. Für den Vortrag habe man exakt zehn Minuten, „da muss der Vortrag sitzen wie ´ne Eins“. Drei, vier Mitglieder, diejenigen mit der Nähe zu ihrem Fachgebiet, hätten hauptsächlich Fragen gestellt, sagt Pouplier. Bei den anderen Mitgliedern habe sie trotz vorgerückter Stunde absolute Konzentration wahrgenommen.
Ein befragter Gutachter der iFQ-Studie beklagte, dass ein Antrag kaum Chancen habe, wenn er nicht „ohne kleinsten Makel aus der Begutachtung herausgeht“. Selbst wenn man persönlich nur geringen Änderungsbedarf sehe – „das traut man sich dann schon gar nicht mehr so richtig offen zu sagen“. Die Ergebnisse der Studie sollen 2012 veröffentlicht werden. Der aktuelle Stand kann in einem Arbeitspapier bereits jetzt nachgelesen werden: www.forschungsinfo.de/Publikationen/Download/working_paper_9_2011.pdf
Die Hürden auf dem Weg zur Antragsbewilligung
Über viele Brücken muss er gehen
Bis zur Bewilligung eines Antrags sind jede Menge Hürden zu nehmen. Das zeigt das Beispiel eines Sonderforschungsbereichs.
Wird in der Deutschen Forschungsgemeinschaft (DFG) ein Antrag etwa für einen Sonderforschungsbereich (SFB) als Konzept eingereicht und entspricht den formalen Anforderungen, tagt eine Gutachtergruppe in Bonn. Eine Delegation des Antragstellers wird zur Beratung geladen. Wenig aussichtsreiche Konzepte werden bereits hier als solche benannt.
Die erste Bewertung geht an den SFB-Senatsausschuss, der den Antragsteller zur vollen Ausarbeitung auffordert. Ein Panel berät dann in mehreren Klausuren, es folgt eine Vor-Ort-Begehung an der Hochschule. Nach einer letzten Klausur steht eine Empfehlung an den Bewilligungsausschuss an. Dieser ist an die Vorlage des Panels nicht gebunden.
Ein Zeitraum von zwei Jahren von der ersten Antragstellung bis zur endgültigen Bewilligung ist üblich. Die Gutachter, jährlich etwa 10000 ehrenamtliche Kräfte, werden laut DFG nach fachlicher Expertise ausgewählt. Man achte sorgfältig darauf, dass kein Anschein von Befangenheit etwa durch Kooperation oder Konkurrenz, durch Lehrer-Schüler-Beziehungen oder gegenseitige Begutachtungen entsteht. Dennoch gab es gegen die DFG zuletzt Vorwürfe wegen angeblich untransparenter Entscheidungen.
Prof. Dr. Niclas Schaper
„Meckern kann wichtig sein“
Paderborn Gruppenentscheidungen haben einige Vorteile, sagt Prof. Dr. Niclas Schaper. Der Arbeits- und Organisationspsychologe von der Universität Paderborn, der selbst als Gutachter tätig war, kennt aber auch die negativen Begleiterscheinungen.
duz: Viele Köche verderben den Brei – der Volksmund meint es nicht gut mit der Teamarbeit. Dennoch ist sie in der Forschungsevaluation auf dem Vormarsch. Woher kommt dieser Trend?
Schaper: Das Phänomen hat sich in der Wirtschaft an vielen Stellen bewährt und schwappt daher auf andere Bereiche über. Neben der Befriedigung von Ansprüchen, stärker an Prozessen beteiligt zu werden, ist dieser Trend auch davon getrieben, dass Aufgaben komplexer werden und oft nur im Team zu bewältigen sind; und auch davon, dass Entscheidungen unterschiedliche Expertisen und Sichtweisen erfordern. Entscheidungen in Gruppen werden nicht isoliert getroffen, sondern sind, wenn sie im Konsens mehrerer Akteure entstehen, oft vertrauenswürdiger. Gerade das dürfte bei den Panels der Forschungsförderung ein Impuls sein.
duz: Welche Dynamiken entstehen in Arbeitsgruppen?
Schaper: Aus der Sozialpsychologie kennen wir verschiedene Modelle, wie sich Teams entwickeln, wobei die Differenzierung von Rollen oder die Ausbildung von Verhaltensnormen wichtige Teilprozesse sind. Bei der Rollendifferenzierung kann man unterscheiden, ob diese vorgegeben sind und wie sie übernommen werden; oder ob sie nicht vorgegeben sind und sich „naturwüchsig“ entwickeln. Diese Entwicklung ist nicht zwingend bewusst. Eine Gruppe muss sich intern steuern, Informationen können unterschiedlich verteilt sein. Und es gibt unterschiedliche Kommunikationsmuster, die Rollen entstehen lassen. Zum Beispiel ein Mitglied, das Dinge eher kritisch sieht und diese dann deutlicher zur Sprache bringt als andere …
duz: … das wäre dann der „Meckerer vom Dienst“. Welche weiteren Rollen können sich entwickeln?
Schaper: Als Meckerer wird er oftmals wahrgenommen, weil er der Mehrheitsmeinung widerspricht. Aber das Meckern kann durchaus eine wichtige Funktion haben, wenn die Argumente für und wider genau abzuwägen sind. Andererseits kann so eine Person den Prozess lähmen. Eine andere Rolle gerade in Review-Panels ist der Platzhirsch: Bei den Mitgliedern kann es zu einem Gefälle beim Renommee kommen, es gibt Personen mit besonderer Reputation. Diese neigen dann, vor allem wenn sie sich in dieser Rolle wohl fühlen, zum Platzhirsch-Verhalten, zu klarer Dominanz.
duz: Welche negativen Dynamiken sind möglich und wie kann man diesen entgegenwirken?
Schaper: Unter anderem die einseitige Beeinflussung des Entscheidungsprozesses durch den Platzhirsch sowie Konformitätsdruck – wenn es eine Mehrheitsmeinung gibt und sich niemand traut, andere Positionen einzunehmen. Je unstrukturierter eine Diskussion verläuft, desto stärker wird der Ausdifferenzierung ungünstiger Rollenmuster Raum gegeben. Ein Panel braucht meines Erachtens eine strukturierende und moderierende Kraft, damit es nicht zu einseitigen und unfairen Entscheidungen kommt.
duz: Wie lässt sich das Ihrer Meinung nach umsetzen?
Schaper: Diese Kraft kann formal vorgegeben sein, etwa der Berichterstatter bei der DFG. Die Rolle können auch Mitglieder des Panels übernehmen. Sie müssen die Platzhirsche einfangen und die Spezialisten der Gruppe ins Spiel bringen, zum Beispiel den Methodik-Experten bei Fragen bezüglich des Forschungsdesigns. Zudem sollten sie zurückhaltendere Mitglieder einbinden. Gefragt ist ein aktives Informationsmanagement in der Gruppendiskussion.
DUZ Magazin 01/2012 vom 16.12.2011