Schnelle Schlagzeile, ohne Quelle zu konsultieren

Red. Die Autorin hat Naturwissenschaften und Philosophie studiert, arbeitete längere Zeit in der Forschung und ist heute in Beratung/Coaching tätig.

Viele Forscher sind daran interessiert, in Medien möglichst viel zitiert zu werden. Das steigert deren Reputation. Redaktionen greifen «wissenschaftliche» Schlagzeilen gerne auf, meistens ohne die Quelle geprüft zu haben. Obwohl die meisten Studien nur wenige Seiten lang sind, lesen die Journalistinnen und Journalisten sie nur selten. Sie fragen auch nicht, wer die Studie finanziert hat und machen dies nur höchst selten transparent.

Im konkreten Fall geht es um zwei Studien, welche die US-Politikwissenschaftler Roberto Stefan Foa und Yascha Mounk in den Jahren 2016 und 2017 in der Fachzeitschrift «Journal of Democracy» veröffentlicht haben. Resultat:

• Besonders bei jungen Erwachsenen schwinde das Vertrauen in die Demokratie – selbst in Staaten, die als stabil und traditionell demokratisch gelten.

Aus diesem Schluss haben einige Zeitungen wie «20 Minuten» die obigen Schlagzeilen formuliert.

Wogen im Datenmeer

Den angeblichen «Trend zu antidemokratischen Einstellungen» unterlegen die beiden Forscher mit Grafiken, die auf Datenmaterial basieren, das die nicht kommerziell arbeitende Netzwerkorganisation World Values Survey (WVS) veröffentlichte.
In der Studie von 2016 wurde für die erste Grafik Umfragematerial aus den USA sowie aus einem weiteren Datenpool von sieben EU-Staaten – nicht etwa nur aus Staaten mit längerer Demokratietradition wie Deutschland und Schweden, sondern auch aus Rumänien und Polen – verwendet. Die gestellte Frage lautete: Für wie wichtig halten Sie es, in einem demokratisch geführten Land zu leben? Antworten waren auf einer Zehnpunkte-Skala möglich von 1 = «überhaupt nicht wichtig» bis 10 = «absolut wichtig».

Aus dem Pool in den USA, die in 13 Befragungsregionen eingeteilt wurden, ergaben die Daten für die Zeitspanne von 2004–2011 genau 3398 gültige Antworten, aus welchen die Autoren nur diejenige Unterklasse verwendeten, die ein demokratisch geführtes Land als «absolut wichtig» (10 auf der Zehnpunkte-Skala) angaben (30 bis 50 Prozent). Dieses Datenset wurde nochmals in sechs Untergruppen je nach Geburtsjahrzehnt aufgeteilt, um eine Abhängigkeit von der Variablen «Alter» aufzuzeigen.

Durch diese Unterteilungen blieben für die Auswertung der US-Zahlen pro Altersklasse nicht einmal 300 Antworten.

In diesen früheren Umfragen wurden wie in den meisten Ländern Europas nur Erwachsene ab 18 Jahren befragt. In den späteren Umfragen, deren Resultate mit in die Vergleiche der verschiedenen Alters- oder Geburtsjahrgangs-Kategorien eingingen, waren namentlich in den USA und in Grossbritannien auch Jüngere ab 16 Jahren befragt worden.
Es wurden also in den ersten drei der von Foa und Mounk verwendeten Grafiken teilweise nicht die gleichen Samples verglichen.

Antworten von nur dreissig Personen

Die zweite Grafik zeigt Vergleiche von Umfragedaten aus den Jahren 2010–2012 (genauer: 2011 für die USA) gegenüber solchen aus der Zeitspanne von 1995–1997 (1995 für die USA). Dazu steht für die USA ein Pool von lediglich 1452 Antworten aus den früheren Umfragen (um 1995) zur Verfügung, und zwar in diesem Fall nur für eine Vierpunkte-Skala in Bezug auf die Frage «Having a democratic political system is a … way to run this country», aus welchem dann die Antworten entnommen wurden, welche entweder «bad» (3 = «schlecht») oder «very bad» (4 = «sehr schlecht») lauteten.
In der 1995er-Studie antworteten in der (nominellen) Gruppe der 16- bis 25-Jährigen 9,3 Prozent der Befragten mit «fairly bad» und 3,9 Prozent mit «very bad»; zusammen also 13,2 Prozent von total 225 Personen in dieser Alterskategorie: Mithin 30 Personen, welche die Subpopulation dieser Kategorie (der damals effektiv noch zwischen 18- und 25-jährigen) jungen Erwachsenen in den USA repräsentierten.

Anfang 2017 doppelten Foa und Mounk mit einem zweiten Artikel und zusätzlichen Grafiken nach, um die These weiter zu belegen, dass ihre Befunde ein globales Phänomen abbildeten, das sich insbesondere auch in den als stabil geltenden europäischen Verfassungsstaaten mit langer Demokratietradition zeige. Allerdings sind in der verwendeten Grafik nur gerade drei europäische Vertreter aufgeführt: Grossbritannien, die Niederlande und Schweden.

Rosinenpickermethode hinterfragt

Inzwischen haben die Herausgeber des «Journal of Democracy» auf die Kritik reagiert. Auf einer gesonderten Internetseite wurden drei kritische Stellungnahmen, gefolgt von einer Replik des Autorenduos, verlinkt.

Erik Voeten erwähnt in seiner Stellungnahme die Schwierigkeit, aus den Vergleichen kleiner Subpopulationen geringfügige Unterschiede herauszubekommen. Beispielsweise finden sich für den 2011er Datensatz aus den USA in der Gruppe jener, die eine Regierungsübernahme durch die Armee als «sehr gut» erachtete, bei den unter 35-Jährigen gerade einmal 19 Personen (3,5%).
Voeten geht auch auf die Aussage von Foa und Mounk ein (2016), der Anteil der US-Amerikaner, die eine Regierung durch die Armee als «gut» oder «sehr gut» erachte, sei von etwa 6 Prozent (1 zu 16) im Jahre 1995 auf 17 Prozent (1 zu 6) im Jahre 2014 auf fast das Dreifache angestiegen. Die «New York Times» und andere Zeitungen verbreiteten diese Zahlen unhinterfragt. Nur in einem Spezialteil der «Washington Post» erhob ein Autor Widerspruch. Sein Name: Erik Voeten.

Andere Länder, andere Resultate

Die Autoren der drei kritischen Beiträge weisen auf zahlreiche weitere Mängel in der Methodik und Interpretation hin. Insbesondere zeigen sie auf, dass auf der Basis der WVS-Daten europaweit gesehen die von Foa und Mounk behaupteten Trends nicht konsistent nachweisbar sind.
Würde man für die oben erwähnte Grafik im Artikel aus dem Jahr 2017 etwa die WVS-Daten für Frankreich, Deutschland, Italien oder der Schweiz herauspicken (anstatt jener von Foa und Mounk ausgewählten drei), würde kein solcher Trend ersichtlich, legt beispielsweise Pippa Norris dar. Sie bezeichnet die Strategie von Foa und Mounk daher als «cherry-picking», als Rosinenpickerei. Auch Voeten wirft den Autoren vor, für ihre Analysen Fragen oder Antwortkategorien selektiv herausgepickt zu haben.

Differenzierendere Analysemethoden gefragt

In sämtlichen Kritiken wird zudem vor einer Verwechslung altersabhängiger Effekte mit solchen eines Generationenwandels gewarnt. Dass jüngere Erwachsene an demokratischen Wahlverfahren weniger Interesse zeigen als ältere, ist ein Effekt, der sich zwar in manchen Ländern zuweilen beobachten lässt, aber stark variiert (vielleicht nicht zuletzt auch in Abhängigkeit des Anteils an unter 18-Jährigen unter den Befragten).
Alexander und Welzel zitieren ferner andere Studien, welche auf eine höhere Zustimmung für «liberale Werte» oder Grundwerte liberaler Demokratien bei den jüngeren Generationen hinweisen. Norris schreibt in diesem Zusammenhang, dass populistisch-autoritäre Gruppierungen in Europa, aber auch Trumps Präsidentschaftskandidatur in Amerika, überproportional durch ältere Menschen Unterstützung erhielten und erinnert daran, dass in den letzten US-Wahlen Hillary Clinton zur Präsidentin gewählt worden wäre, wenn nur die Stimmen der Millennials (d.h. der zwischen 1980 und 2000 Geborenen) gezählt hätten.
Alexander und Welzel weisen ausserdem darauf hin, dass die Bedeutung von «Demokratie» sowie die Auffassung darüber, was «support for democracy» meine, sich innerhalb der vergangenen Jahrzehnte in markanter Weise geändert habe. Ältere Personen neigten oft weiterhin stärker zu illiberalen Demokratiekonzeptionen, während für Jüngere die Verwirklichung freiheitlicher Grundrechte zentral sei.

Auch Zufriedenheit mit der Wirtschaftslage sowie mit politischen Entscheidungsprozessen spielt eine Rolle in der Beurteilung von Demokratiesystemen.
Schlagzeilen wie «Die Demokratie verliert ihre Anhänger» waren schnell verbreitet, beruhten aber auf tönernen Füssen.