Evaluation von Citizen Science Projekten

In einem Artikel mit dem Titel "The Challenge of Evaluation: an Open Framework for Evaluating Citizen Science Activities" haben wir gemeinsam mit Kolleginnen des Zentrums für Soziale Innovation und von iDiv in Deutschland einen offenen Evaluationsrahmen entwickelt, der es sowohl Fördergebern als auch Projektleiterinnen und -leitern ermöglichen soll, eine kritische Betrachtung auf Citizen Science Aktivitäten zu werfen und diese auch zu bewerten. Hier eine kurze Zusammenfassung:

In der heutigen wissensbasierten Gesellschaft erlebt Citizen Science einen enormen Aufstieg. Die Ziele von Citizen Science sind neue wissenschaftliche Erkenntnisse, die Beantwortung von gesellschaftsrelevanten Fragen, die Förderung der Fähigkeit zum Verständnis von wissenschaftlichen Texten in der Gesellschaft und die Veränderung von Wissenschaftskommunikation.

Diese Ziele werden jedoch oft nicht evaluiert, und sowohl Projektleiter als auch potenzielle Förderer stehen oft im Dunkeln wenn es um die Bewertung von Qualität und Wirkung von Citizen Science geht. Um die Qualität der Ergebnisse von Citizen Science Projekten zu sichern und zu steigern werden Evaluationsmethoden für Planung, Selbstevaluation und Trainingsentwicklung sowie zur Erstellung von Förder- und Auswirkungsberichten benötigt.

Mit diesem Artikel, basierend auf einer tiefgehenden Analyse der Charakteristiken und der Vielfalt von Citizen Science Aktivitäten und derzeitigen Evaluationsmethoden, haben wir einen offenen Rahmen entwickelt, der auf die verschiedensten Citizen Science Aktivitäten, von Bürgerbewegungen bis hin zu Projekten, welche von WissenschaftlerInnen geleitet werden, anwendbar ist. Dieser Rahmen beinhaltet soziale, wissenschaftliche und sozio-ökologische/ökonomische Perspektiven von Citizen Science und bietet damit eine umfassende Sammlung von Indikatoren.

Die Indikatoren können von allen dieser drei Perspektiven sowohl auf der Prozess-, als auch auf der Auswirkungsebene ausgewählt und schwerpunktmäßig eingesetzt werden, je nach spezifischem Kontext und Ziel. Der Rahmen dient daher der kritischen Bewertung von Citizen Science Projekten in Bezug auf die gewählten Ziele sowohl für externe Bewertung und Förderung als auch für die interne Projektentwicklung.

Der Beitrag “Citizen Science in the Social Sciences: A Call for More Evidence.” ist in der Fachzeitschrift GAIA – Ökologische Perspektiven für Wissenschaft und Gesellschaft erschienen. Darin beleuchten die Autoren das Thema Citizen Science aus der Perspektive der Sozialwissenschaften und setzen sich mit den spezifischen Herausforderungen auseinander, die bei der Umsetzung von sozialwissenschaftlichen Citizen Science Projekten entstehen.

Zum Inhalt: In den Naturwissenschaften ist Citizen Science bereits etabliert und wird immer populärer. Dort wird Citizen Science in auflagenstarken Fachzeitschriften (Nature, Science) diskutiert und Ressourcen über große Organisationen gebündelt (ECSA, CSA). Sozialwissenschaftliche Citizen Science Projekte sind bis heute höchstens eine Randerscheinung. Dies ist verwunderlich, da viele sozialwissenschaftliche Themen, z.B. die Effektivität sozialer und politischer Institutionen, in der Gesellschaft viel diskutiert werden und einen großen Einfluss auf das Leben von Bürger/innen haben.

Die Autoren argumentieren, dass die zurückhaltende Umsetzung von Citizen Science in den Sozialwissenschaften einerseits mit der normativen Perspektive derselben, andererseits aber auch mit ganz konkreten praktischen Herausforderungen zusammenhänge. Dazu zählt etwa die Mobilisierung von Ansprechgruppen. Sozialwissenschaftliche Forschung ist oft stark kontextgebunden, der direkte Erkenntnisgewinn aufgrund der Kontextgebundenheit schwer vermittelbar und konkrete Hobbyorganisationen nur schwer zu identifizieren. Zweitens ist die Sicherung der Datenqualität eine besondere Herausforderung. Sozialwissenschaftliche Forschung basiert meist auf menschlicher Beobachtung und ist daher fehleranfälliger als objektive naturwissenschaftliche Messungen, z.B. mit technischen Messgeräten. Drittens existieren auch besondere ethische Herausforderungen, da die Sozialwissenschaften sich mit menschlichen Untersuchungssubjekten beschäftigen. Die ethischen Standards der sozialwissenschaftlichen Forschung müssen deshalb erfolgreich vermittelt und von den Freiwilligen mitgetragen werden.

Trotz dieser Herausforderungen sei es wichtig, dass Projekte mit Citizen Science experimentieren. Denn die Kooperation zwischen Wissenschaftsinstitutionen und Bürger/innen erlaubt den Zugriff auf „versteckte“ und große Datenmengen, etwa im Bereich Social Media. Citizen Science birgt daher großes Innovationspotential, dem sich die Sozialwissenschaft nicht verschließen darf.

Der Artikel ist Open Access, also frei zugänglich: http://www.ingentaconnect.com/contentone/oekom/gaia/2017/00000026/00000001/art00008

Glück im Unglück hatten zahlreiche Personen am 10.7.2017 insb. am Flughafen Schwechat, ohne es zu wissen. Am Tag genau 101 Jahre nach der größten Wirbelsturm-Katastrophe in Österreich ereignete sich im Raum Wien-Schwechat ein Unwetter, welches auch einen Tornado hervorbrachte. Bei dem Tornado 1916 in Wiener Neustadt gab es 34 Todesopfer und mehr als 300 Schwer- & Mittelschwerverletzte!  Dieses Mal zog ein Tornado jedoch nur über Felder und Straßen, so kamen keine Personen zu Schaden. Der Wirbelsturm löste kurz vor den Landespisten des Flughafen Schwechats auf – nicht auszumalen, was passiert wäre, wäre der Tornado nur 1 Kilometer weitergezogen. Hier ein Rückblick der Ereignisse und wie es dazu kam.

Der 10. Juli beginnt wie zahlreiche Tage im Juli, schon am Vortag gibt es im Radio, Fernsehen & Internet die Wetteransage: „Gewitter sind im Tagesverlauf möglich, einzelne können auch kräftiger sein“. Tatsächlich befindet sich über Westeuropa ein Trog (Gebiet mit geringem Luftdruck), dadurch kommt von Südwest feuchte und warme Luft nach Österreich. Relativ unerwartet gibt es bereits in den Morgenstunden im Wiener Becken einige Schauer und Gewitter. Durch den Regen ist es in der bodennahen Luft sehr feucht. Nach den Schauern scheint überall wieder die Sonne – die Temperaturen steigen vielerorts über 30°C – es wird sehr dunstig und schwül.

Um Mittag herum lassen Meteorologen der ZAMG auf der Hohen Warte in Wien einen Wetterballon steigen, der Wetterdaten aus unterschiedlichen Höhen erfasst. Dabei wird immer klarer: heute sind heftige Gewitter möglich. Neben der hohen „Labilitätsenergie“ und der bodennahen Feuchtigkeit, herrscht auch eine ausgeprägte Winddrehung und Änderung der Windstärke in unterschiedlichen Luftschichten. All diese Indizien lassen Meteorologen & und auch die Sturmjäger und Beobachter von Skywarn vorsichtig werden – in solch einer Luft sind neben Hagelunwettern auch Tornados nicht ausgeschlossen.

Zeitlicher Ablauf:

Gegen 14 Uhr wird die Luft durch Winde gezwungen aufzusteigen. Insb. feuchte Luft strömt nun im Wiener Becken zusammen und wird gegen die Hügel vom Wiener Wald gedrückt – mächtige Haufenwolken und Gewitter entstehen. Ab 15 Uhr zieht ein kräftiges Gewitter vom Wiener Wald über den Bereich Vösendorf (SCS) im Bezirk Mödling und verstärkt sich weiter. In diesem Bereich bildet sich bereits eine rotierende abgesenkte Wolke (sogenannte Wallcloud) aus. Diese saugt immer mehr feuchte und warme Luft in das Gewitter.

CODE IT! – Gemeinsam Impfpolitik verstehen (FWF TCS14)
September 2016 – Juni 2017

Als politikwissenschaftliches Projekt war CODE IT! gewissermaßen ein Pionierprojekt – denn Citizen Science-Ansätze sind – anders als in den Naturwissenschaften –  in den Sozialwissenschaften nicht sehr verbreitet. Als TeilnehmerInnen konnten vorrangig Jugendliche gewonnen werden, die eine umfassende Analyse zur österreichischen Impfpolitik auf Basis diskursanalytischer Methoden durchführen konnten. Eine weitere Besonderheit des Projekts war, dass es mit Hilfe eines Online Tools durchgeführt wurde, welches durch das Projektteam gestaltet wurde und nun im Sinne der „open science“ Prinzipien frei verfügbar ist (citizenscience.univie.ac.at).

Einerseits war es das Ziel des Projektes, die empirische Datenbasis zur Debatte rund um die Impfung gegen die durch Geschlechtsverkehr übertragenen und in manchen Fällen krebsauslösenden Humane Papilloma Viren (HPV) zu erweitern. Dabei wurde untersucht, mit welchen Argumenten Fachinstitutionen – etwa politische, ökonomische oder wissenschaftliche Akteure – den öffentlichen Diskurs um die HPV-Impfung in Pressemeldungen gestaltet haben. Andererseits sollte analysiert werden, inwieweit Citizen Science zur Analyse von politischen Debatten bzw. für sozialwissenschaftliche Fragestellungen im Allgemeinen herangezogen werden kann. Als Datengrundlage dienten Pressemeldungen, die einen Schwerpunkt auf der HPV-Impfung hatten und sich auf dem APA Science-Portal befanden (n= 473). Diese Pressemeldungen wurden mithilfe eines dafür entwickelten Tools online kodiert und analysiert – daher auch das Acronym CODE IT!

Die Ergebnisse bestätigen Erkenntnisse aus dem Vorprojekt zur HPV-Impfdebatte in Österreich (Paul 2016). Beispielsweise beobachten wir eine Ausklammerung von bestimmten Aspekten (Geschlecht; sexuelle Übertragung von HPV) und eine diskursive Transformation der Impfung von einer „Mädchenimpfung“ hin zu einer scheinbar neutralen, und daher politisch weniger riskanten Kinderimpfung. Zugleich bietet der entstandene Datensatz weitere Möglichkeiten zur inhaltlichen Analyse (bspw. zur politischen Kommunikation zu Gesundheitsthemen, zur Wissenschaftskommunikation in der Impfpolitik). Weiters liefert das Projekt Einsichten zur Machbarkeit von „citizen social science“ und Herausforderungen wie beispielsweise Validierung von Daten. Die Ergebnisse des Projektes, sowie die entstandene Datenbank, als auch die dafür erstellte Infrastruktur, also das Online-Tool zum kodieren, wurde offen auf der Projekthomepage (citizenscience.univie.ac.at) zur Verfügung gestellt. Der Quellcode, der die Basis bietet, ist ebenfalls online verfügbar und kann – und soll – in anderen Forschungsprojekten weiterentwickelt werden.

Paul KT (2016) “’Saving lives’: Adapting and adopting HPV vaccination in Austria.” Social Science & Medicine 153:193-200. (open access)

Call for Abstracts für ÖCSK 2018 offen!

Der Call for Abstracts für die Österreichische Citizen Science Konferenz 2018 an der Universität Salzburg ist nun noch bis zum 08. September geöffnet. Unter https://www.citizen-science.sbg.ac.at können alle Sessions eingesehen werden, für die Beiträge eingereicht werden können. Auch das Einreichformular findet sich auf dieser Seite, sowie detaillierte Informationen zu den Einreichbedingungen. Folgende Sessions warten auf Ihre Beiträge:

• Chancen und Grenzen von Citizen Science in den Kulturwissenschaften
• Citizen Science & GSK - Methodologie und Kommunikation in partizipativen Forschungsprojekten
• Citizen Science und peer-review Publikationen - Mission Impossible?
• Kooperation zwischen Citizen-Science-Projekten – Synergien nutzen
• Winning our next generation for science – Stärken, Schwächen und Herausforderungen von Forschungskooperationen mit Schulen

Auch für den Citizen Science Aktionstag am 03.02.2016, der ebenfalls in Salzburg stattfinden soll, können eigene Vorschläge für Citizen Science Aktionen eingebracht werden. Das gesamte Konferenzkommittee bestehend aus Universität Salzburg, Österreich forscht, Bürger schaffen Wissen, Schweiz forscht, Zentrum für Citizen Science und FWF freut sich auf zahlreiche Einreichungen!

Simplified and still meaningful

In dem im Juli 2017 im Journal of Insect Conservation erschienen Fachartikel mit dem Titel ‚Simplified and still meaningful: assessing butterfly habitat quality in grasslands with data collected by pupils‘ berichten Johannes Rüdisser, Erich Tasser, Janette Walde, Peter Huemer, Kurt Lechner, Alois Ortner und Ulrike Tappeiner über wichtige Ergebnisse aus dem Projekt Viel-Falter. In diesem Sparkling Science Projekt wurde untersucht, ob und wie Schulklassen einen Beitrag zu einem systematischen Monitoring heimischer Tagfalter leisten können. Hierfür wurde ein speziell für Schulklassen entwickeltes Erhebungssystem für siedlungsnahe Schmetterlingslebensräume verwendet. Über 500 Schüler und Schülerinnen aus 14 Tiroler Schulen führten damit drei Jahre lang Beobachtungen an 35 verschiedenen Standorten durch. Evaluiert wurden die Ergebnisse der Schulklassen mit Hilfe unabhängiger Expertenbeobachtungen an denselben Standorten. Es zeigte sich, dass die von den Schulklassen gesammelten Daten über das Vorkommen bestimmter Tagfaltergruppen - trotz fehlender Artbestimmung - wichtige Informationen über die Qualität der untersuchten Schmetterlingslebensräume liefern. Diese erfreulichen Ergebnisse veranlasste das Team das Projekt im Rahmen der Top Citizen Science Initiative mit freiwilligen Schmetterlingsbeobachtern fortzusetzen.

Der englischsprachige Artikel ist hier frei zugänglich (Open Access).

"Österreich forscht" - Arbeitsgruppe für Qualitätskriterien

Seit dem letzten Plattformtreffen gibt es eine Arbeitsgruppe zu Qualitätskriterien für Projekte, die auf "Österreich forscht" gelistet werden. Durch den enormen Aufschwung, den Citizen Science in den letzten Jahren erfahren hat, sind immer neue Projekte aufgetaucht. Um auch weiterhin die Qualität dieser Projekte vor allem auch für die involvierten BürgerInnen zu sichern, wurde beim letzten Plattformtreffen Anfang März beschlossen, dass eine Arbeitsgruppe sich bis zur nächsten Citizen Science Konferenz in Salzburg Gedanken über eine beschränkte Anzahl an Mindestkriterien macht, die alle Projekte auf "Österreich forscht" erfüllen müssen. In bereits zwei Treffen wurden erste Themenbereiche und Kriterien formuliert, die nun weiter ausgearbeitet werden. Wenn Sie mehr dazu wissen möchten, dann können Sie unter diesem Link detaillierte Informationen zu der Arbeitsgruppe und ihrer Tätigkeit finden: http://www.citizen-science.at/die-plattform/arbeitsgruppen

"Österreich forscht" im Deep Space

Im Rahmen des Sparks Eu - Projektes durften wir im Mai "Österreich forscht" im Ars Electronica Center in Linz im sogenannten "Deep Space" präsentieren. Beim "Deep Space" handelt es sich um einen 8k-fähigen Vorführraum, bei dem die ZuschauerInnen und PräsentatorInnen im wahrsten Sinne in den Vortrag eintauchen können. Über die ganze Wand (und bei Bedarf auch über den Fußboden) erstreckt sich die Videoprojektion, und das auch noch gestochen scharf!

Es war uns eine große Ehre in diesem bombastischen Rahmen vortragen zu dürfen und zu erklären, was Citizen Science ist, wie Wissenschaft unser Leben berührt, wie man bei Projekten mitmachen kann und was die Ziele von "Österreich forscht" sind. Wir möchten an dieser Stelle nochmal herzlich dem Ars Electronica Center für die Einladung danken! Für Sie haben wir hier noch die schönsten Bilder des Vortrages herausgesucht. Viel Spaß beim Durchklicken!

In dem vom FWF in der Programmlinie Top Citizen Science geförderten Projekt „Inside Trading Cultures“, was man mit „Innensicht von Handelskulturen“ übersetzen könnte, sind BürgerInnen aus St. Pölten und Umgebung Teil von sozialwissenschaftlicher Forschung des Instituts für Medienwirtschaft der FH St. Pölten auf der Frankfurter Buchmesse 2017. Das Projekt untersucht mit ethnographischen Feldforschungsmethoden die Rolle und Bedeutung von jährlich stattfindenden internationalen Handelsmessen im globalen Buchmarkt. Die Frankfurter Buchmesse als größte Messe ihrer Art nimmt dabei eine besondere Stellung ein und steht deshalb im Zentrum des Projekts.

Bewerbungs- und Auswahlverfahren achtet auf Diversität

Da für die Feldforschungsreise nach Frankfurt nur begrenzte Mittel zur Verfügung stehen und ein starker und nachhaltiger Partizipationsgrad im Projekt angestrebt wurde, konnten sich Bürgerinnen und Bürger bis zum 31. März 2017 zur Teilnahme am Projekt bewerben. Voraussetzung war ein grundsätzliches Interesse an den Themen Literatur und Buch bzw. der damit verbundenen Frage, wie internationale Buchmärkte oder Mediensysteme funktionieren. Die interessierten BürgerInnen mussten zudem einen kurzen Beitrag zu der Frage „Welche Rolle spielen Bücher in der heutigen Medienwelt?“ verfassen. Bei der Auswahl der TeilnehmerInnen durch die beteiligten SozialwissenschafterInnen wurde auf die vielfältigen Hintergründe (etwa bzgl. Alter, Geschlecht oder Herkunft) geachtet, da das Ziel des Citizen Science Projekts eine „Ethnographie aus unterschiedlichen Blickwinkeln“ ist. Dabei geht es vor allem darum, die komplexe gesellschaftliche Realität auf der Buchmesse unter Einbindung von Personen mit unterschiedlichen Wissens- und Erfahrungshorizonten in allen Phasen des Forschungsprozesses (v. a. Beobachtung auf der Buchmesse, Analyse, Schreibprozess) zu erreichen.

Erster Workshop: Kennenlernen, Organisieren und eine Einführung in Medienwirtschaft und Buchmarkt

Beim ersten von zwei vorbereitenden Workshops an der FH St. Pölten im Mai 2017 hatten die zwölf mitforschenden BürgerwissenschafterInnen und die beteiligten SozialwissenschafterInnen die Möglichkeit sich untereinander kennenzulernen und über das Citizen Science Projekt auszutauschen.

Citizen Science Terminology Matters: Exploring Key Terms

Am 05. Juni 2017 wurde ein neues internationales Paper im Fachjournal "Citizen Science: Theory and Practice" veröffentlicht, in dem ForscherInnen rund um den Globus beschreiben, welche verschiedenen Terminologien es für Citizen Science gibt und welche Auswirkungen diese auf die Praxis von Citizen Science haben. Theoretische, historische, geopolitische und disziplinenabhängige Definitionen von Citizen Science flossen in dieses Paper mit ein. Es ist frei verfügbar und kann unter diesem Link heruntergeladen werden. Wir freuen uns, dass auch Daniel Dörler und Florian Heigl von "Österreich forscht" an diesem Paper mitschreiben durften! Hier eine kurze Zusammenfassung auf deutsch:

Um Citizen Science zu definieren, sollte sehr auf die Worte geachtet werden, die zur Beschreibung dieser Methode verwendet werden, denn die Terminologie bestimmt wie Wissen erzeugt wird. Citizen Science ist ein sich rasch entwickelndes Feld, welches auf der Einbeziehung der Bevölkerung in den Bereichen Informationsentstehung, sozialem Handeln, sozialer Gerechtigkeit und Informationserfassung beruht. Derzeit wird eine Vielzahl von Ausdrücken und Begriffen verwendet, um auf das Konzept Citizen Science und die darin handelnden AkteurInnen zu verweisen. In diesem Artikel erkunden wir diese Begriffe um Leitlinien für die weitere Entwicklung dieses Feldes zu geben. Wir tun dies in dem wir

• den theoretischen, historischen, geopolitischen und disziplinenabhängigen Kontext bewerten; 
• diskutieren, was Citizen Science bedeutet;
• verwandte Begriffe überprüfen;
• eine Sammlung von möglichen Begriffen für Citizen Science und jene Menschen, die in Citizen Science Projekten tätig sind, zur Verfügung stellen.

Diese Sammlung von Begriffen wurde in erster Linie durch das breite Wissen der AutorInnen, die sehr viel Erfahrung mit Citizen Science in ihrer täglichen Arbeit sammeln konnten, erstellt. Außerdem wurden mögliche Probleme mit verschiedenen Terminologien festgehalten. Obwohl unsere Beispiele nicht systematisch oder vollständig sein können, sollen sie künftige Untersuchungen anregen. In unserer kollektiven Erfahrung mit Citizen Science Projekten ist kein Einzelbegriff für alle Kontexte angemessen. Wir schlagen deshalb vor in einem Citizen Science Projekt verwendete Begriffe und Terminologien sorgfältig zu wählen und ihre Verwendung zu erklären; direkte Kommunikation mit den TeilnehmerInnen eines Projektes über die Terminologien, wie sie dadurch in ihrer Tätigkeit beeinflusst werden können und wie sie selbst bezeichnet werden möchten, sollten ebenfalls stattfinden. Zusätzllich  empfehlen wir, dass eine systematische Untersuchung der Terminologietrends in Citizen Science durchgeführt wird. 

ÖCSK 2017: Konferenzbericht ist online!

Der Konferenzbericht zur Österreichischen Citizen Science Konferenz 2017 ist online! Unter http://ow.ly/lhUU30cbsDm kann der Bericht, mit ausführlichen Zusammenfassungen zu fast allen Sessions gratis heruntergeladen werden! Auf diese Weise können alle, die leider nicht an der Konferenz teilnehmen konnten, sich über die Inhalte der einzelnen Sessions informieren. Wir möchten an dieser Stelle nochmal unseren KooperationspartnerInnen von der Agentur für Gesundheit und Ernährungssicherheit (AGES) und dem österreichischen Wissenschaftsfonds (FWF) für die tolle Zusammenarbeit danken! Weiteren Dank möchten wir auch nochmal allen Fördergebern aussprechen: dem Bundesministerium für Wissenschaft, Forschung und Wirtschaft, dem Bundesministerium für ein lebenswertes Österreich, der Wirtschaftsagentur Wien - einem Fonds der Stadt Wien, dem FWF, der Ludwig Boltzmann Gesellschaft und der Universität Salzburg.

An der Universität Salzburg findet übrigens die nächsten Österreichische Citizen Science Konferenz vom 01.-03. Februar 2018 statt. Der Call for Sessions ist nur noch 2 Wochen offen! Wenn Sie sich also überlegen eine Session einzureichen, dann finden Sie hier weitere Informationen zu den formalen Voraussetzungen. Nachreichungen können leider nicht berücksichtigt werden. Eine Verlängerung der Einreichfrist ist leider nicht möglich.

Wir freuen uns auf zahlreiche Beiträge!