Μετάφραση: Απολλόδωρος
Οι περισσότερες επιστημονικές μελέτες είναι λανθασμένες και είναι λανθασμένες επειδή οι επιστήμονες ενδιαφέρονται για τη χρηματοδότηση και την καριέρα τους και όχι για την αλήθεια.
Αυτό ήταν το ανατριχιαστικό μήνυμα που μετέφερε ο χαμογελαστός, πανέξυπνος, πολυμαθής και χαδιάρης Γιάννης Ιωαννίδης στο έβδομο συνέδριο Peer Review Congress στο Σικάγο αυτή την εβδομάδα. Το να ακούς κάποιον τόσο λαμπρό όσο ο Ιωαννίδης είναι σαν να ακούς μια σπουδαία όπερα ή να παρακολουθείς έναν συναρπαστικό ποδοσφαιρικό αγώνα: αισθάνεσαι εμπνευσμένος, ανεβασμένος και προνομιούχος. Και, αν και ποτέ δεν θα χαρακτήριζα μια γυναίκα ομιλήτρια ως χαδιάρα (όσο χαδιάρα και αν είναι), γράφω αυτό για τον Ιωαννίδη επειδή ένιωσα καλά να βλέπω μια τέτοια ευφυΐα να φοριέται τόσο ελαφρά και ελκυστικά.
Η έκθεσή του με τίτλο: "Γιατί τα περισσότερα δημοσιευμένα ερευνητικά ευρήματα είναι ψευδή" είναι η εργασία με τις περισσότερες αναφορές στο PLOS Medicine και συνέβαλε στο να τον παρουσιάσουν οι New York Times και να γίνει διάσημος.
Ξεκινώντας την ομιλία του με ένα ποίημα από τη Σαπφώ, την αρχαία Ελληνίδα ποιήτρια, μας έδειξε μια εικόνα των θραυσμάτων περγαμηνής που το καθένα περιέχει μερικά σκιτσάκια από τα οποία έχει κατασκευαστεί το ποίημα. Η σχέση μεταξύ της επιστημονικής μας γνώσης και των δεδομένων από τα οποία έχει κατασκευαστεί είναι εξίσου εύθραυστη.
Ο Ιωαννίδης επεξήγησε το θέμα του περιγράφοντας μια μελέτη στην οποία οι συνάδελφοί του επέλεξαν τυχαία 50 συστατικά από το βιβλίο μαγειρικής της Βοστώνης και στη συνέχεια έψαξαν στο PubMed για να δουν ποια από τα συστατικά είχαν συνδεθεί είτε με την αύξηση είτε με τη μείωση του κινδύνου εμφάνισης καρκίνου. Η απάντηση ήταν 40. Μεγάλος αριθμός μελετών είχε δείξει κάτι τέτοιο, και χωρίς αμφιβολία εκατοντάδες χιλιάδες αναφορές στα μέσα ενημέρωσης θα έχουν διαδώσει το μήνυμα στο κοινό. Στην πραγματικότητα, είπε ο Ιωαννίδης, μια μετα-μετα-ανάλυση δείχνει ότι οι επιστημονικές μελέτες είναι "σωστές" σχεδόν σε καμία περίπτωση. (Το κοινό μπορεί να είναι πιο έξυπνο από τους επιστήμονες στο να προεξοφλεί και να αγνοεί αυτές τις αναφορές, αν και ένα ατυχές αποτέλεσμα είναι ο σκεπτικισμός του κοινού απέναντι στην επιστήμη που οδηγεί πολλούς να αποδέχονται τον ισχυρισμό ότι δεν υπάρχει καμία απόδειξη ότι η ανθρώπινη δραστηριότητα προκαλεί την κλιματική αλλαγή).
Ένας τεράστιος τομέας ανάπτυξης της επιστήμης είναι η σύνδεση γονιδίων με συγκεκριμένες ασθένειες, και ο Ιωαννίδης παρουσίασε μια ανάλυση εκατοντάδων τέτοιων μελετών που έδειξε ότι μόνο στο 1,1% των περιπτώσεων η σύνδεση ήταν αληθής. Σκεφτείτε το αυτό όταν την επόμενη φορά ακούσετε στο ραδιόφωνο ότι βρέθηκε ένα γονίδιο για την κατάθλιψη, τη σχιζοφρένεια ή την παχυσαρκία. Οι αναφορές υποδηλώνουν ότι μια "θεραπεία" είναι πιο κοντά, αλλά στην πραγματικότητα μάλλον δεν υπάρχει καθόλου πραγματική σύνδεση.
Οι βιοδείκτες των ασθενειών είναι ένα άλλο θέμα στο οποίο μας παραπλανούν διαρκώς, με μελέτες που αναφέρονται σε μεγάλο βαθμό και οι οποίες δείχνουν υψηλό σχετικό κίνδυνο, σχεδόν πάντα αποδεικνύεται ότι έχουν υπερβάλει κατά πολύ τον σχετικό κίνδυνο. Το ίδιο ισχύει και για τα μοντέλα πρόβλεψης ασθενειών, και μια μελέτη 127 μοντέλων έδειξε ότι μόνο στο ένα πέμπτο είχαν γίνει περαιτέρω μελέτες για την επικύρωση του μοντέλου. Στο μισό από αυτό το πέμπτο οι περαιτέρω μελέτες προέρχονταν από τους αρχικούς συγγραφείς, γεγονός που δεν είναι ικανοποιητικό.
Οι εταιρείες και τα hedge funds έχουν αρχίσει να αντιλαμβάνονται το γεγονός ότι τόσες πολλές δημοσιευμένες μελέτες είναι παραπλανητικές - διότι άλλο πράγμα είναι να δημοσιεύεται η μελέτη σε ένα περιοδικό, με τους εκδότες να κερδίζουν χρήματα και τους συγγραφείς να απολαμβάνουν "τη φήμη και την αγάπη όμορφων γυναικών", και άλλο πράγμα είναι να επενδύονται εκατομμύρια δολάρια σε αυτό που φαίνεται να είναι νέες πιθανές θεραπείες ή διαγνωστικές εξετάσεις, όταν το αποτέλεσμα μπορεί να είναι λάθος. Έτσι, οι εταιρείες μαθαίνουν τη σημασία της αναπαραγωγής των μελετών, και μια πρόσφατη μελέτη της Amgen για τις προκλινικές μελέτες έδειξε ότι το 80-90% δεν μπορούσε να αναπαραχθεί. Έτσι, τα hedge funds έχουν γίνει νευρικά όταν επενδύουν σε φαινομενικά πολλά υποσχόμενα επιστημονικά αποτελέσματα και προσλαμβάνουν συμβεβλημένους ερευνητικούς οργανισμούς για την αναπαραγωγή των μελετών προτού προβούν σε επενδύσεις.
Σχεδόν παρεμπιπτόντως ο Ιωαννίδης έδειξε τα αποτελέσματα για το ποιες χώρες παράγουν τα υψηλότερα ποσοστά παραπλανητικών μελετών. Οι ΗΠΑ βρίσκονται στην κορυφή, ίσως επειδή εκεί η πίεση για δημοσίευση είναι μεγαλύτερη από οπουδήποτε αλλού.
Γιατί, αναρωτήθηκε ο Ιωαννίδης, είναι τόσες πολλές επιστημονικές μελέτες λανθασμένες; Λόγω προκατάληψης και τυχαίου σφάλματος, και υπάρχουν "πολλά και από τα δύο". Μια ανάλυση της μεροληψίας σε 17 εκατομμύρια εργασίες έδειξε 235 πηγές μεροληψίας, οι περισσότερες από τις οποίες, είπε ο Ιωαννίδης, δεν ήταν οικείες στον ίδιο, έναν μελετητή της μεροληψίας. Φιλοδοξεί να εκδώσει την "οριστική εγκυκλοπαίδεια της μεροληψίας".
Το τυχαίο σφάλμα είναι τόσο σημαντικό επειδή το μεγαλύτερο μέρος της σύγχρονης επιδημιολογίας και της υγείας αφορά μικρές επιδράσεις και ασθενείς συσχετίσεις. Λόγοι πιθανοτήτων πάνω από πέντε παρατηρούνται μόνο σε μία στις 16 μελέτες, σχεδόν πάντα σε μικρές μελέτες, και με το 99% αυτών των μελετών το μέγεθος της επίδρασης συρρικνώνεται όταν γίνεται μια μεγαλύτερη μελέτη. Μια μελέτη 85 000 μετα-αναλύσεων έδειξε ότι μόνο μία είχε μεγάλη επίδραση που ήταν ιδιαίτερα σημαντική. "Πρέπει να μάθουμε να ζούμε με τα μικρά αποτελέσματα", κατέληξε ο Ιωαννίδης.
Μια άλλη "λύση" στο πρόβλημα των τόσων πολλών παραπλανητικών μελετών είναι η ενθάρρυνση μεγάλων συνεργασιών που μπορούν να παράγουν αρκετά δεδομένα για να ανιχνεύσουν αξιόπιστα μικρές επιδράσεις. Χρειάζεται επίσης βελτίωση της αναφοράς και της καταγραφής των μελετών. Ο Ιωαννίδης έδειξε ότι τα περισσότερα σημαντικά περιοδικά έχουν πλέον απαιτήσεις γύρω από την καταγραφή, αλλά στις περισσότερες περιπτώσεις αυτό δεν συμβαίνει στην πραγματικότητα. Έχουμε τις πολιτικές αλλά όχι την πραγματικότητα, κάτι που παρατηρείται ξανά και ξανά με τα επιστημονικά περιοδικά.
Αλλά η πιο σημαντική ανάγκη είναι η αναπαραγωγή των μελετών, και αρκετές πρωτοβουλίες βρίσκονται σε εξέλιξη για να συμβεί αυτό. Για παράδειγμα, η πρωτοβουλία για την αναπαραγωγιμότητα που ξεκίνησε πρόσφατα ενθαρρύνει τους ανθρώπους να υποβάλλουν τις μελέτες τους για ανεξάρτητη επικύρωση.
Γιατί, αναρωτήθηκε ο Ιωαννίδης, στο τέλος της ομιλίας του, κάνουμε επιστήμη; Η ικανοποίηση με ένα σύστημα που ενθαρρύνει τη δημοσίευση μελετών που είναι ως επί το πλείστον παραπλανητικές υποδηλώνει ότι πρόκειται για καριέρες, επιχορηγήσεις, δημοσιεύσεις και μισθούς. Αν πρόκειται για την αναζήτηση της "αλήθειας", τότε χρειαζόμαστε περισσότερη συνεργασία, λιγότερες δημοσιεύσεις μικρών και μεροληπτικών μελετών και μεγάλη έμφαση στην αναπαραγωγιμότητα.
Ο Richard Smith ήταν εκδότης του BMJ μέχρι το 2004 και είναι διευθυντής της πρωτοβουλίας του United Health Group για τις χρόνιες παθήσεις.
Ανταγωνιστικό συμφέρον: Στον RS δόθηκε δωρεάν είσοδος στο συνέδριο και τα έξοδά του πληρώθηκαν από το JAMA επειδή παρουσιάζει μια ταινία για την ιστορία της ιατρικής που βασίζεται σε αποδείξεις και ήταν τελετάρχης σε ένα "ψητό" του Drummond Rennie, του δημιουργού των συνεδρίων αξιολόγησης από ομοτίμους και μεγάλου φίλου του RS.
Richard Smith, Νότια Ασία, υγειονομική περίθαλψη των ΗΠΑ
***
Δικτυογραφία:
Richard Smith: Time for science to be about truth rather than careers - The BMJ
https://blogs.bmj.com/bmj/2013/09/09/richard-smith-time-for-science-to-be-about-truth-rather-than-careers/
Richard Smith: Time for science to be about truth rather than careers - The BMJ
https://blogs.bmj.com/bmj/2013/09/09/richard-smith-time-for-science-to-be-about-truth-rather-than-careers/
Δεν υπάρχουν σχόλια:
Δημοσίευση σχολίου
Παρακαλούμε τα σχολιά σας να ειναι σχετικά με το θέμα, περιεκτικά και ευπρεπή. Για την καλύτερη επικοινωνία δώστε κάποιο όνομα ή ψευδώνυμο. Διαφημιστικά σχόλια δεν δημοσιεύονται.
Επειδή δεν υπάρχει η δυνατότητα διόρθωσης του σχολίου σας παρακαλούμε μετά την τελική σύνταξή του να ελέγχεται. Προτιμάτε την ελληνική γραφή κι όχι την λατινική (κοινώς greeklish).
Πολύ σημαντικό είναι να κρατάτε προσωρινό αντίγραφο του σχολίου σας ειδικά όταν είναι εκτενές διότι ενδέχεται να μην γίνει δεκτό από την Google (λόγω μεγέθους) και θα παραστεί η ανάγκη να το σπάσετε σε δύο ή περισσότερα.
Το σχόλιό σας θα δημοσιευθεί, το αργότερο, μέσα σε λίγες ώρες, μετά από έγκριση του διαχειριστή του ιστολογίου, ο οποίος είναι υποχρεωμένος να δημοσιεύει όλα τα σχόλια που δεν παραβαίνουν τους όρους που έχουμε θέσει στις παρούσες οδηγίες.
Υβριστικά, μη ευπρεπή και προπαγανδιστικά σχόλια θα διαγράφονται ή δεν θα δημοσιεύονται.