Durch Zufall stieß ich in einem Strom von Nachrichten und Informationen auf einen Artikel in Nature Scientific Reports. Es präsentiert Daten aus einer Umfrage unter 1.500 Wissenschaftlern zur Reproduzierbarkeit von Forschungsergebnissen. Wenn dieses Problem früher für die biologische und medizinische Forschung angesprochen wurde, wo es einerseits erklärbar ist (falsche Korrelationen, die allgemeine Komplexität der untersuchten Systeme, manchmal wird sogar wissenschaftliche Software beschuldigt), hat es andererseits einen phänomenologischen Charakter (zum Beispiel verhalten sich Mäuse gegenüber Wissenschaftlern tendenziell anders verschiedene Geschlechter (1 und 2)).
Mit mehr Naturwissenschaften wie Physik und Ingenieurwesen, Chemie und Ökologie ist jedoch nicht alles glatt. Es scheint, dass genau diese Disziplinen auf "absolut" reproduzierbaren Experimenten basieren, die unter den am meisten kontrollierten Bedingungen durchgeführt wurden. Leider ist das Ergebnis der Umfrage - im wahrsten Sinne des Wortes - erstaunlich: Bis zu 70% der Forscher sind auf nicht reproduzierbare Experimente gestoßen, und die Ergebnisse wurden nicht nur von anderen Gruppen von Wissenschaftlern erhalten, ABER auch von den Autoren / Mitautoren veröffentlichter wissenschaftlicher Arbeiten!
Lobt jeder Flussuferläufer seinen Sumpf?
Obwohl 52% der Befragten auf eine Krise der Reproduzierbarkeit in der Wissenschaft hinweisen, halten weniger als 31% die veröffentlichten Daten für grundlegend falsch, und die Mehrheit gab an, dass sie der veröffentlichten Arbeit weiterhin vertrauen.
Frage: Gibt es eine Krise der Reproduzierbarkeit der Ergebnisse?
Natürlich sollten Sie sich nicht allein aufgrund dieser Umfrage von der Schulter hacken und die gesamte Wissenschaft als solche lynchen: Die Hälfte der Befragten waren immer noch Wissenschaftler, die auf die eine oder andere Weise mit biologischen Disziplinen in Verbindung gebracht wurden. Wie die Autoren bemerken, ist in der Physik und Chemie die Reproduzierbarkeit und das Vertrauen in die erzielten Ergebnisse viel höher (siehe Grafik unten), aber immer noch nicht 100%. Aber in der Medizin sind die Dinge im Vergleich zu den anderen sehr schlecht.
Werbevideo:
Eine Anekdote fällt mir ein:
Marcus Munafo, ein biologischer Psychologe an der Universität von Bristol, England, hat ein langjähriges Interesse an der Reproduzierbarkeit wissenschaftlicher Daten. Er erinnert sich an die Tage seiner Studentenzeit und sagt:
Frage: Wie viele veröffentlichte Werke in Ihrer Branche sind reproduzierbar?
Problemtiefe für Breite und Länge
Stellen Sie sich vor, Sie sind Wissenschaftler. Sie stoßen auf einen interessanten Artikel, aber die Ergebnisse / Experimente können nicht im Labor reproduziert werden. Es ist logisch, den Autoren des Originalartikels darüber zu schreiben, um Rat zu fragen und klärende Fragen zu stellen. Laut der Umfrage haben weniger als 20% dies zu irgendeinem Zeitpunkt in ihrer wissenschaftlichen Karriere getan!
Die Autoren der Studie stellen fest, dass solche Kontakte und Gespräche für die Wissenschaftler selbst möglicherweise zu schwierig sind, weil sie ihre Inkompetenz und Inkonsistenz in bestimmten Fragen offenbaren oder zu viele Details des aktuellen Projekts enthüllen.
Darüber hinaus versuchte eine überwältigende Minderheit von Wissenschaftlern, eine Widerlegung nicht reproduzierbarer Ergebnisse zu veröffentlichen, während sich Redakteure und Gutachter widersetzten, die forderten, dass Vergleiche mit der ursprünglichen Studie heruntergespielt werden. Ist es kein Wunder, dass die Wahrscheinlichkeit, die Nichtreproduzierbarkeit wissenschaftlicher Ergebnisse zu melden, bei etwa 50% liegt?
Erste Frage: Haben Sie versucht, die Ergebnisse des Experiments zu reproduzieren?
Zweite Frage: Haben Sie versucht, Ihren Versuch, die Ergebnisse zu reproduzieren, zu veröffentlichen?
Vielleicht dann zumindest im Labor, um einen Reproduzierbarkeitstest durchzuführen? Das Traurigste ist, dass ein Drittel der Befragten NIE darüber nachgedacht hat, Methoden zur Überprüfung der Reproduzierbarkeit von Daten zu entwickeln. Nur 40% gaben an, solche Techniken regelmäßig anzuwenden.
F: Haben Sie jemals spezielle Techniken / technische Verfahren entwickelt, um die Reproduzierbarkeit der Ergebnisse zu verbessern?
Ein anderes Beispiel, eine Biochemikerin aus Großbritannien, die ihren Namen nicht preisgeben wollte, sagt, dass Versuche, Arbeiten für ihr Laborprojekt zu wiederholen und zu reproduzieren, einfach die Zeit- und Materialkosten verdoppeln, ohne der Arbeit etwas Neues zu geben oder hinzuzufügen. Zusätzliche Überprüfungen werden nur für innovative Projekte und ungewöhnliche Ergebnisse durchgeführt.
Und natürlich die ewigen russischen Fragen, die ausländische Kollegen zu quälen begannen: Wer ist schuld und was zu tun?
Wer ist schuldig?
Die Autoren der Arbeit identifizierten drei Hauptprobleme der Reproduzierbarkeit der Ergebnisse:
- Druck der Vorgesetzten, die Arbeit rechtzeitig zu veröffentlichen
- Selektive Berichterstattung (anscheinend bedeutet dies die Unterdrückung einiger Daten, die das gesamte Bild "verderben")
- Unzureichende Datenanalyse (einschließlich statistischer Daten)
Frage: Welche Faktoren sind für nicht reproduzierbare wissenschaftliche Ergebnisse verantwortlich?
Antworten (von oben nach unten): –Musterberichterstattung –Bossdruck - Schlechte Analyse / Statistik - Unzureichende Wiederholbarkeit des Experiments im Labor - Unzureichende Überwachung - Mangel an Methodik oder Code - Schlechtes experimentelles Design - Mangel an Rohdaten aus dem Primärlabor - Betrug - Unzureichende Überprüfung durch Experten / Gutachter –Probleme bei Reproduktionsversuchen –Technisches Fachwissen ist erforderlich, um zu reproduzieren –Variabilität von Standardreagenzien - "Neddachka und Pichalka"
Was zu tun ist?
Von 1.500 befragten Personen sprachen sich mehr als 1.000 Spezialisten für eine Verbesserung der Statistiken bei der Erfassung und Verarbeitung von Daten, eine Verbesserung der Aufsichtsqualität von Vorgesetzten und eine strengere Planung von Experimenten aus.
F: Welche Faktoren tragen zur Verbesserung der Reproduzierbarkeit bei?
Antworten (von oben nach unten): - Besseres Verständnis der Statistik - Strengere Aufsicht - Besseres experimentelles Design - Schulung - Interne Laborüberprüfung - Verbesserte praktische Fähigkeiten - Förderung der formalen Datenüberprüfung - Ringversuch - Mehr Zeit für das Projektmanagement - Erhöhung der Standards für wissenschaftliche Zeitschriften - Mehr Zeit für die Arbeit mit Laboraufzeichnungen einplanen
Fazit und einige persönliche Erfahrungen
Erstens sind die Ergebnisse selbst für mich als Wissenschaftler erstaunlich, obwohl ich mich bereits an ein gewisses Maß an Irreproduzierbarkeit der Ergebnisse gewöhnt habe. Dies zeigt sich insbesondere in den Arbeiten der Chinesen und Inder ohne "Audit" durch Dritte in Form von amerikanisch / europäischen Professoren. Es ist gut, dass das Problem erkannt und über seine Lösung (en) nachgedacht wurde. Ich werde taktvoll über die russische Wissenschaft im Zusammenhang mit dem jüngsten Skandal schweigen, obwohl viele ehrlich ihren Job machen.
Zweitens ignoriert der Artikel die Rolle wissenschaftlicher Metriken und von Experten begutachteter wissenschaftlicher Zeitschriften bei der Entstehung und Entwicklung des Problems der Nichtreproduzierbarkeit von Forschungsergebnissen (oder berücksichtigt diese eher nicht). Bei der Verfolgung der Geschwindigkeit und Häufigkeit von Veröffentlichungen (Lesen, Erhöhung der Zitierindizes) sinkt die Qualität stark und es bleibt keine Zeit für eine zusätzliche Überprüfung der Ergebnisse.
Wie sie sagen, sind alle Charaktere fiktiv, basieren aber auf realen Ereignissen. Irgendwie hatte ein Student die Möglichkeit, einen Artikel zu rezensieren, da nicht jeder Professor die Zeit und Energie hat, die Artikel nachdenklich zu lesen. Daher wird die Meinung von 2-3-4 Studenten und Ärzten gesammelt, aus der die Rezension gebildet wird. Es wurde eine Überprüfung verfasst, in der auf die Unreproduzierbarkeit der Ergebnisse gemäß der im Artikel beschriebenen Methode hingewiesen wurde. Dies wurde dem Professor klar demonstriert. Aber um die Beziehung zu den "Kollegen" nicht zu verderben - schließlich gelingt ihnen alles - wurde die Überprüfung "korrigiert". Und es gibt 2 oder 3 solcher Artikel veröffentlicht.
Es stellt sich heraus, dass es sich um einen Teufelskreis handelt. Der Wissenschaftler sendet den Artikel an den Herausgeber der Zeitschrift, wo er die "gewünschten" und vor allem "unerwünschten" Rezensenten angibt, dh nur diejenigen, die dem Autorenteam positiv gegenüberstehen. Sie überprüfen die Arbeit, können aber nicht „in die Kommentare scheißen“und versuchen, das kleinere von zwei Übeln zu wählen - dies ist eine Liste von Fragen, die beantwortet werden müssen, und dann werden wir den Artikel veröffentlichen.
Ein weiteres Beispiel, über das der Herausgeber von Nature vor einem Monat gesprochen hat, sind Grazels Sonnenkollektoren. Aufgrund des enormen Interesses der Wissenschaft an diesem Thema (schließlich wollen sie immer noch einen Artikel in Nature!) Mussten die Redakteure einen speziellen Fragebogen erstellen, in dem sie viele Parameter angeben, Gerätekalibrierungen, Zertifikate usw. bereitstellen müssen, um die Methode zur Messung der Effizienz zu bestätigen Panels entsprechen einigen allgemeinen Grundsätzen und Standards.
Und drittens, wenn Sie wieder einmal von einem Wunderimpfstoff hören, der alles und jeden erobert, einer neuen Geschichte über Jobs in einem Rock, neuen Batterien oder den Gefahren / Vorteilen von GVO oder der Strahlung von Smartphones, insbesondere wenn er von gelben Journalisten aus dem Journalismus beworben wurde. dann sei verständnisvoll und springe nicht zu Schlussfolgerungen. Warten Sie auf die Bestätigung der Ergebnisse durch andere Wissenschaftlergruppen, die Anhäufung des Arrays und die Datenproben.
