ΑΝΑΦΕΡΟΥΝ ΟΙ ΨΥΧΟΛΟΓΟΙ
Η ψυχολογία αντιμετωπίζει μια «κρίση αναπαραγωγής»; Πέρυσι, μια διαδικασία βασισμένη σε πολλές πηγές κατάφερε να αξιολογήσει περισσότερο από 50 δεδομένα που έκρουαν το καμπανάκι του κινδύνου για την αξιοπιστία των δημοσιεύσεων της ψυχολογίας. Μια ομάδα ψυχολόγων αξιολόγησε τη μελέτη και μπορούμε να πούμε ότι δεν παρέχει αποδείξεις για κάποια κρίση.
«Η ανάλυσή μας ακυρώνει πλήρως τα απαισιόδοξα συμπεράσματα που πολλοί έχουν εξάγει απ’αυτή τη μελέτη-ορόσημο.», αναφέρει ο Daniel Gilbert, ψυχολόγος στο Πανεπιστήμιο του Harvard in Cambridge, στη Massachusetts και συνσυγγραφέας της ανάλυσης που δημοσιεύτηκε στις 2 Μαρτίου στο «Science».
Αλλά μια απάντηση στο ίδιο τεύχος του «Science» αντιτείνει ότι η ίδια η νέα ανάλυση εξαρτάται από επιλεκτικές υποθέσεις. Και άλλοι λένε ακόμα ότι η ψυχολογία θα πρέπει επειγόντως να βελτιώσει τις ερευνητικές πρακτικές της.
ΣΤΑΤΙΣΤΙΚΗ ΚΡΙΤΙΚΗ
Τον Αύγουστο του 2015, μια ομάδα από 270 ερευνητές ανέφεραν τη μεγαλύτερη μέχρι τώρα ελεγκτική ενιαία μελέτη της επιστημονικής βιβλιογραφίας. Με επικεφαλής τον Brian Nosek, εκτελεστικό διευθυντή του Center for Open Science in Charlottesville στη Virginia, το πρόγραμμα της επαναληψιμότητας προσπάθησε να αναπαράγει μελέτες από 100 εργασίες ψυχολογίας. Κατέληξε στις 98 απόπειρες αντιγραφής απ’τις 100 μελέτες. Σύμφωνα με ένα απ’τα πολλά δεδομένα αναπαραγωγιμότητας, μόλις το 36% θα μπορούσε να επιβεβαιωθεί, με μία άλλη στατιστική μέθοδο το 47% θα επιβεβαιωνόταν. Είτε έτσι είτε αλλιώς, τα αποτελέσματα φαίνονται ανησυχητικά αδύναμα. Και η αισιόδοξη και η απαισιόδοξη άποψη για την επαναληψιμότητα είναι ισάξιες και δεν είναι ακόμα δικαιολογημένες.
Όχι τόσο γρήγορα, λέει ο Gilbert. Λόγω του τρόπου που το έργο της αναπαραγωγιμότητας πραγματοποιήθηκε, δεν μπορώ να πω πολλά πράγματα για τα αποτελέσματά της, για τη συνολική αξιοπιστία των εργασιών της ψυχολογίας που έγινε προσπάθεια να επικυρωθούν, υποστηρίζει. «Ο αριθμός των μελετών που πραγματικά δεν αποτυγχάνουν να αναπαραχθούν είναι σχετικός με τον αριθμό που θα περιμέναμε να είναι αδύνατον να ξαναγίνουν, παρά μόνο από τύχη -ακόμη και αν όλες οι αρχικές μελέτες είχαν δείξει αληθινά αποτελέσματα».
Η ομάδα του Gilbert προσπαθεί να υπολογίσει ένα αναμενόμενο ποσοστό αντιγραφής με βάση το πρωτόκολλο αναπαραγωγιμότητας των εργασιών. Κάποιες προσπάθειες αντιγραφής δεν ήταν πιστά αντίγραφα του πρωτότυπου εγγράφου, για παράδειγμα, κάνοντας μια αντιγραφή αυτό είναι λιγότερο πιθανό, λέει Gilbert. Κάθε αντιγραφή της μελέτης επιχειρήθηκε μόνο μία φορά, δίνοντας στο έργο περιορισμένη στατιστική ισχύ για να επιβεβαιώθουν τα αρχικά πορίσματα. Για να γίνει πιο συγκεκριμένος, ο Gilbert αναφέρεται σε μία προηγούμενη εργασία του Nosek, που ονομάζεται Πολλά Εργαστήρια Αναπαραγωγής των Εργασιών (Many Labs Replication Project), στην οποία 36 ξεχωριστά εργαστήρια προσπάθησαν να αντιγράψουν 13 ευρήματα. Αυτό το σχέδιο αξιολόγησε 10 ευρήματα, αλλά κοιτάζοντας κάθε προσπάθεια αναπαραγωγής για το καθένα εργαστήριο θα μπορούσε να προτείνει την αποτυχία, σαν αποτέλεσμα.
Συνολικά, η ομάδα του Gilbert καταλήγει στο συμπέρασμα ότι το Έργο της αναπαραγωγιμότητας απέτυχε να λογοδοτήσει για σημαντικά σημεία αβεβαιότητας στην ανάλυση. «Ενώ καμία μελέτη δεν είναι τέλεια, είναι σαφές ότι η δυνατότητα αναπαραγωγής των ψυχολογικών μελετών δεν είναι τόσο κακή όσο χαρακτηρίζεται στο αρχικό άρθρο στο “Science”», αναφέρει ο Kosuke Imai, στατιστικολόγος στο PrincetonUniversity στο New Jersey.
ΟΥΤΕ ΚΑΛΟ ΜΗΔΕ ΚΑΚΟ
Όμως, η νέα ανάλυση δε δείχνει ότι το ποσοστό της επαναληψιμότητας στην ψυχολογία είναι υψηλό, λέει ο Uri Simonsohn, κοινωνικός ψυχολόγος στο University of Pennsylvania στη Philadelphia. Ο ίδιος σημειώνει ότι άλλες στατιστικές επανεκτιμήσεις των εργασιών, μία εκ των οποίων δημοσιεύτηκε στο «PLoS ONE» την περασμένη εβδομάδα και μία άλλη την οποία ο Simonsohn την είχε αναφέρει στο blog δεδομένων της Colada, αυτές δείχνουν ότι περίπου το ένα τρίτο των επαναλήψεων είναι ασαφείς, δεδομένου ότι ούτε επιβεβαιώνουν με βεβαιότητα ούτε διαψεύδουν τα αρχικά αποτελέσματα.
Σε γενικές γραμμές, οι προσπάθειες αντιγραφής είναι πιθανό να είναι πιο αξιόπιστοι οδηγοί για την ύπαρξη και το μέγεθος των αποτελεσμάτων στα πειράματα ψυχολογίας από ό,τι είναι οι αρχικές μελέτες, αναφέρει ο Andrew Gelman, στατιστικός στο Columbia University στη New York. Αυτό συμβαίνει εν μέρει επειδή ό,τι δημοσιεύεται στις αρχικές μελέτες τείνει να είναι σαν τους στατιστικούς «σκώληκες» που έχουν μείνει ζωντανοί αφού οι ερευνητές έχουν πετάξει ότι είναι δημοσιεύσιμο, είναι ένα θετικό αποτέλεσμα. Αντίθετα, για τις εργασίες αντιγραφής τα αναλυτικά σχέδια έχουν ληφθεί υπόψη πριν απ’την έναρξη μιας μελέτης.
Ο Nosek λέει ότι είναι στην ευχάριστη θέση να δει άλλους ερευνητές να μελετούν προσεκτικά τα δεδομένα. Αλλά αυτός και ο συνσυγγραφέας του απαντούν στο περιοδικό «Science» ότι η άποψη του Gilbert είναι «αισιόδοξη εκτίμηση που περιορίζεται απ’τις στατιστικές παρανοήσεις». Αν και μερικές απ’τις εργασίες επαναληψιμότητας αναπαράγουν δεν αντιγράφουν πιστά τις μεθόδους των εγγράφων που είχαν υπό τον έλεγχο τους, σε πολλές περιπτώσεις, οι αρχικοί συντάκτες ενέκριναν τις μεθόδους που χρησιμοποιούνται, αναφέρει ο Nosek.
Οι εργασίες πολλών εργαστηρίων είναι μια παραπλανητική σύγκριση, λέει ο ίδιος και οι συνεργάτες του. Και η επαναληψιμότητα των εργασιών λαμβάνει υπόψη της πέντε μέτρα αναπαραγωγιμότητας που συγχωνεύτηκαν γύρω από παρόμοιες αξίες, οι οποίες από κοινού δείχνουν ότι τα περισσότερα αποτελέσματα -ακόμα και αν δεν υπάρχουν- είναι πιθανό να είναι πολύ μικρότερα απ’ό,τι πρότειναν τα αρχικά αποτελέσματα.
Ο Nosek αναφέρει στο «Nature» ότι η ομάδα του Gilbert έχει δημιουργήσει μια διερευνητική υπόθεση που είναι πολύ αισιόδοξη, αλλά δεν μπορεί να θεωρηθεί ως οριστική. «Τόσο αισιόδοξα όσο και απαισιόδοξα συμπεράσματα είναι δυνατόν να αναπαραχθούν, δεν είναι ακόμα πιστοποιημένα», συμπεραίνει αυτός και οι συνεργάτες του.
Η ΟΙΚΟΝΟΜΙΑ ΕΝΑΝΤΙΟΝ ΤΗΣ ΨΥΧΟΛΟΓΙΑΣ
Μία άλλη εργασία που δημοσιεύεται σήμερα στο περιοδικό «Science» αναφέρει τα αποτελέσματα από ένα πρόγραμμα για την αναπαραγωγή οικονομικών μελετών. Διαπίστωσε ότι τουλάχιστον 11 απ’τις 18 μελέτες που θα μπορούσαν να αναπαραχθούν, θα μπορούσαν να είναι 14 αν θα χρησιμοποιούνταν διαφορετικά κριτήρια για την αξιολόγηση της αναπαραγωγιμότητας.
Αλλά ο Nosek, ο οποίος δε συμμετείχε στη μελέτη, λέει ότι είναι δύσκολο να συμπεράνουμε απ’αυτό ότι η οικονομία έχει υψηλότερο ποσοστό απ’ό,τι η αντιγραφή στην ψυχολογία. Δεν ήταν μόνο μικρός ο αριθμός των μελετών που είχαν αναπαραχθεί, λέει, αλλά οι μελέτες επικεντρώθηκαν σε απλές σχέσεις.
Παρ’όλα αυτά, το μέγεθος των επιδράσεων που διαπιστώθηκαν στα αντίγραφα και στις πρωτότυπες μελέτες είναι πιο κοντά στις οικονομικές σπουδές σε σχέση με την ψυχολογία, λέει ο συγγραφέας της μελέτης, Colin Camerer, ένας συμπεριφορολόγος (behavioural) οικονομολόγος στο California Institute of Technology στη Pasadena. «Είναι σα να δίνουμε ένα βαθμό 17/20 στην ψυχολογία έναντι 18/20 στην οικονομία», λέει. «Υπάρχει περιθώριο βελτίωσης και στους δύο τομείς».
Συνολικά, γνωρίζοντας το ακριβές ποσοστό αναπαραγωγής για κάθε τομέα δεν είναι απαραίτητο για να μάθουμε τι θα συμβεί στη συνέχεια, λέει ο Steve Lindsay, ψυχολόγος στο University of Victoria στον Καναδά και αρχισυντάκτης του περιοδικού «Psychological Science».
«Έχουμε πολλούς λόγους να πιστεύουμε ότι πολλοί ψυχολόγοι έχουν για πολύ καιρό την τάση να υπερβάλλουν συστηματικά στις επιπτώσεις αυτού που δημοσιεύουν.» λέει, αυτό που πραγματικά επείγει είναι να βελτιώσουμε τις κακές πρακτικές.
Κώστας Πετρόπουλος
