Θα έπρεπε να μας απασχολεί το προβληματικό peer review;

Prof. Philip Moriarty

Απόδοση: Ιωάννης Λέκκας

 

Η στοίβα των αιτήσεων για υποτροφίες που έχουν συσσωρευτεί στο τραπέζι του καφέ δεν πρόκειται να επανεξεταστούν από μόνες τους. Πρέπει να διαβαστούν εικοσιπέντε ακόμα πριν από τη λήξη της προθεσμίας και ήξερα πριν να δεχθώ την επανεξέταση ότι πολλές από τις προτάσεις, θα είναι έξω από το πεδίο της εμπειρογνωμοσύνης μου. Ούφ. Ώρα να φτιάξω έναν καφέ και να αρχίσω.

Ως καθηγητής φυσικής, με τριάντα πέντε χρόνια εμπειρίας στην έρευνα συμπυκνωμένης ύλης, είσαι αρκετά σίγουρος ότι μπορείς να κάνεις διορατικές και αποτελεσματικές παρατηρήσεις σχετικά με την εν λόγω αίτηση για το χειρισμό σπιν των ηλεκτρονίων σε νανοδομές (σε σχέση με αυτόν το ταλαντούχο μεταδιδακτορικό που συνάντησες σε ένα συνέδριο πέρυσι). Αλλά τι γίνεται με την πρόταση σχετικά με τις πρωτεΐνες της μεμβράνης; Ή, ακόμη χειρότερα, με τη συμπεριφορά των απόκρυφων πτυχών της θεωρίας των χορδών από έναν μαθηματικό που υποστηρίζει μια ριζοσπαστικά νέα προσέγγιση για την υπερσυμμετρία; Έχεις πραγματικά την αρμοδιότητα να σχολιάσεις τις αιτήσεις αυτές;

Φυσικά, χάρη στο Thomson Reuters δεν υπάρχει καμία ανησυχία για την έλλειψη εμπειρίας σου σε αυτούς τους τομείς. Συνδέεσαι στο Web of Knowledge και ελέγχεις τα αρχεία των δημοσιεύσεων. Χμμμ. Το έργο της πρωτεΐνης της μεμβράνης έχει αρκετά μεγάλο αντίκτυπο- δημοσιεύτηκε στο περιοδικό Science και μετά από ένα-δύο χρόνια έχει ήδη πάρει μερικές εκατοντάδες αναφορές και το “hindex” της συγγραφέως αυξάνεται με ταχείς ρυθμούς. Μοιάζει να είναι ένα πραγματικό «αστέρι» στην κοινότητά της. Η θεωρία των χορδών είναι επίσης ένα ιδιαίτερο μονοπάτι.

Κρίμα για αυτόν που κάνει έρευνα για το σπιν των ηλεκτρονίων. Ένιωσα πολύ ενθουσιασμένος για την δουλειά του όταν παρακολούθησα την εξαιρετική ομιλία του στο συνέδριο στις ΗΠΑ, αλλά δεν έχει συγκεντρώσει σχεδόν καθόλου αναφορές. Μπορείς να την συγκαταλέξεις μαζί με την πρόταση για την μεμβράνη της πρωτεΐνης; Τελικά, πώς θα μπορούσες να δικαιολογήσεις την απόφαση αυτή ως αντικειμενική στα άλλα μέλη της διεπιστημονικής επιτροπής …;

Η βιβλομετρία είναι ο όλεθρος στη ζωή των ακαδημαϊκών. Παραπονευόμαστε συχνά για τις μονάδες μέτρησης όπως το impactfactorτου περιοδικού και το περιβόητο hindex, καθώς και τον βαθμό στον οποίο επηρεάζουν την αξιολόγηση της έρευνας. Και, όμως, όπως δείχνει το παραπάνω υποθετικό παράδειγμα, μπορούμε εμείς οι ίδιοι να γίνουμε ο χειρότερος εχθρός μας, ανατρέχοντας στα στατιστικά για να αξιολογήσουμε κάποιο έργο έξω – ή ακόμα και μέσα – στο πεδίο μας.

Ο David Colquhoun, παγκοσμίως πρωτοπόρος φαρμακολόγος από το University College του Λονδίνου και ξακουστός blogger, έχει επανειλημμένα επισημάνει τους κινδύνους που εμπεριέχει το να βασιζόμαστε νωχελικά σε αναλύσεις αναφορών για την αξιολόγηση της έρευνας και των ερευνητών. Ένα άρθρο ειδικότερα, το Howtogetgoodscience, είναι μια αδιάβλητη έκθεση που αναφέρεται στον συσχετισμό (ή την έλλειψη αυτού) μεταξύ των αναφορών και της σχετικής σημασίας των αναφορών για την δημοσίευση ενός επιστήμονα έναντι δημοσιεύσεων άλλων επιστημόνων. Θα έπρεπε να διαβαστεί από όλους όσους εμπλέκονται στην αξιολόγηση της έρευνας στα πανεπιστήμια, ερευνητικά συμβούλια, φορείς χρηματοδότησης, και κυβερνητικές υπηρεσίες – ιδιαίτερα εκείνων που είναι της γνώμης ότι η βιβλιομετρία αποτελεί την κατάλληλη μέθοδο αξιολόγησης των «αποτελεσμάτων» του επιστήμονα.

Ο Colquhoun , χρησιμοποιώντας μία ανατρεπτικά « ισχυρή » γλώσσα, το θέτει ως εξής :

” Όλα αυτά δείχνουν αυτό που είναι προφανές σε όλους, αλλά με χαζούς μετρητές φασολιών . Ο μόνος τρόπος για να εκτιμηθεί η αξία μίας δημοσίευσης είναι ρωτώντας μία ομάδα εμπειρογνωμόνων του τομέα .

” Τίποτα άλλο δεν λειτουργεί .

” Τίποτα”.

Μια συνεχής διαμάχη στο πεδίο έρευνας μου , την νανοεπιστήμη , έχει επιβεβαιώσει την  δήλωση του Colquhoun. Η εν λόγω αμφιλεγόμενη εργασία αποτελεί ένα ιδιαίτερα συναρπαστικό παράδειγμα της πλάνης των στατιστικών αναφορών ως μονάδα μέτρησης για την ποιότητα της έρευνας . Έχει αποκαλύψει ανησυχητικές όψεις για τις επιστημονικές εκδόσεις και έχει βλάψει σοβαρά την εμπιστοσύνη μου στο σύστημα αξιολόγησης από ομότιμους .

Οι λεπτομέρειες της εν λόγω περιπτώσεως καλύπτονται εκτενώς στο blog του Raphael Levy έτσι δεν θα αναμασηθούν τα ίδια επιχειρήματα εδώ. Με λίγα λόγια , το πρόβλημα έχει ως εξής . Οι συντάκτες μιας σειράς εγγράφων στα υψηλότερα περιοδικά της επιστήμης – συμπεριλαμβανομένων των Science και οικογένεια Nature Publishing Group – ισχυρίστηκαν ότι σχηματίζονται λωρίδες στην επιφάνεια των νανοσωματιδίων , λόγω του διαχωρισμού φάσης των διαφόρων τύπων συνδετών. Οι μόνες αποδείξεις για το σχηματισμό των εν λόγω λωρίδων προέρχονται από δεδομένα ενός Scanning Probe Microscope ( SPM ). ( Το SPM αποτελεί τον ακρογωνιαίο λίθο της έρευνάς μας στην ομάδα νανοεπιστημών στο Πανεπιστήμιο του Nottingham , ως εκ τούτου, το έντονο ενδιαφέρον μου για αυτή τη συγκεκριμένη ιστορία. )

Αλλά αυτά τα χαρακτηριστικά απεικόνισης δεδομένων του SPM, που μοιάζουν να είναι εντυπωσιακά παρόμοια με γνωστό τεχνικό λάθος, καθώς και η ανάλυση των σχετικών δεδομένων φαίνονται να είναι, στην καλύτερη των περιπτώσεων, μη αυστηρά. Απ’ την εμπειρία μου, η συγκεκριμένη έρευνα θα βαθμολογούταν με χαμηλό βαθμό ακόμη και ως μία προπτυχιακή εργασία, παρόλα αυτά έχει ήδη δημοσιευθεί σε ό,τι γενικά θεωρείται να είναι από τα πιο σημαντικά περιοδικά στον τομέα της επιστήμης . ( Και για να είμαστε ειλικρινείς – αυτά τα περιοδικά όντως έχουν εντυπωσιακές δημοσιεύσεις σχετικά με συναρπαστικές και πρωτοποριακές ανακαλύψεις στον τομέα της επιστήμης.)

Και τι έγινε; Αυτό είναι απλά μια σταγόνα στον ωκεανό των νανοεπιστημών ; Γιατί πρέπει να μας νοιάζει ; Το πρόβλημα δεν θα αποκαλυφθεί όταν άλλοι προσπαθήσουν να αναπαράγουν το ίδιο αποτέλεσμα ;Στο κάτω κάτω η επιστήμη δεν θα έπρεπε να αυτοδιορθώνεται;

Καλά επιχειρήματα . Προσέξτε με λίγο – Θα εξετάσω τα ερωτήματα αυτά σε ένα δευτερόλεπτο. Μισό λεπτό, όμως, θα πρέπει να επιστρέψω στην στοίβα των αιτήσεων για υποτροφία. Ας πούμε ότι είχε μια αίτηση υποτροφίας που σχετίζονται με την εργασία των ‘Stripy’ (=ριγέ) νανοσωματιδίων και θα έπρεπε να καταταχθεί μεταξύ των άλλων . Μια βιαστική ματιά στα στατιστικά στο Web of Knowledge θα υποδείξει ότι το έργο αυτό είχε σημαντικό αντίκτυπο σε ένα πολύ σύντομο χρονικό διάστημα . Ως εκ τούτου, θα πρέπει να είναι υψηλής ποιότητας.

Και όμως, αν ένας εμπειρογνώμονας – ή , στη συγκεκριμένη περίπτωση , ακόμη και ένας σχετικά αρχάριος στο SPM – ξόδευε ένα-δυο λεπτά για να διαβάσει μία από τις δημοσιεύσεις ” Stripy nanoparticles (=ριγέ νανοσωματιδίων )» , δεν θα μπορούσε εύκολα να πειστεί από τα συμπεράσματα στα οποία κατέληξαν οι συγγραφείς. Τι ήταν αυτό που ο Colquhoun είπε πάλι ; “Ο μόνος τρόπος για να εκτιμηθεί η αξία μίας δημοσίευσης είναι ρωτώντας μία ομάδα εμπειρογνωμόνων του τομέα. Τίποτα άλλο δεν λειτουργεί. Τίποτα”.

Εξ’ορισμού, η επιστήμη είναι πράγματι αυτοδιορθώμενη . Αλλά αν υπάρχουν λάθη στο δημοσιευμένο έργο ποιός τα διορθώνει; Ίσως η πιο προβληματική πτυχή στην Stripy nanoparticles (=ριγέ νανοσωματιδίων ) διαμάχη να τονίστηκε από ένα σχόλιο που άφησε ο Mathias Brust , ο οποίος είναι πρωτοπόρος στον τομέα της έρευνας των νανοσωματιδίων , σύμφωνα με ένα άρθρο στην Times Higher Education

“Έχω [ μιλήσει με υψηλόβαθμους εμπειρογνώμονες σχετικά με αυτή την αντιπαράθεση ] … και επιτρέψτε μου να σας πω τι μου έχουν πει . Περίπου το 80 % των επιστημόνων υψηλού επιπέδου στα νανοσωματίδια χρυσού δεν δίνουν δεκάρα για τις ρίγες και θεωρούν ότι δεν είναι συνετό πού ο Levy εμπλέκεται σε μια τέτοια διαμάχη δυνητικά καταστροφική για την καριέρα του. Περίπου το 10 % πιστεύει ότι … οι επιστήμονες οφείλουν να είναι πιο φιλικοί ο ένας προς τον άλλον . Στο κάτω κάτω, ποτέ δεν ξέρεις [ ποιός] θα κλιθεί να αξιολογήσει την επόμενη δημοσίευση σου. Περίπου το 5% υποστηρίζει αυτήν την διαφορά , περιττό να πω ότι κατά κύριο λόγο είναι εκείνοι που αμφισβητούν ανακάλυψη των ριγών . Αυτό το ποσοστό περιλαμβάνει και εμένα πλέον. Ήμουν αρχικά με το πρώτο 80 % και είχα συμβουλεύσει τον Raphael αναλόγως . “

[ Disclaimer : Ξέρω τον Mathias Brust πολύ καλά, έχουμε συνεργαστεί  και έχουμε συνδημοσιεύσει ερευνητικά άρθρα στο παρελθόν ] .

Γνωρίζω πολύ καλά ότι  the pluralofanecdoteisnotdata (=ο πληθυντικός του ανέκδοτου, δεν είναι δεδομένα), αλλά το σχόλιο του Brust αντηχεί έντονα στα αυτιά μου. Έχω ακούσει πολύ παρόμοια επιχειρήματα κατά καιρούς από τους συναδέλφους μου στην φυσική . Το πιο ανησυχητικό απ ‘όλα είναι ότι η ιδέα του σχολιασμού μίας δημοσιευμένης εργασίας είναι στην καλύτερη απρεπής , και , στη χειρότερη περίπτωση, βλαβερή για την καριέρα σου. Εκεί έχει φτάσει η επιστήμη;

Ο Douglas Adams , σε ένα εμπνευσμένο απόσπασμα του στο Life, The Universe, and Everything, παίρνει την ψυχολογική έννοια που είναι γνωστή ως ” το πρόβλημα κάποιου άλλου (SEP ) ” και το χρησιμοποιεί ως βάση για έναν  αόρατο « μανδύα » υπό τη μορφή ενός SEP-πεδίου . ( Ευχαριστούμε τον Dave Fernig , επίσης θαυμαστής του Douglas Adams , που μου θύμισε την έννοια του SEP.) Όπως το θέτει ο Adams , αντί κάποιος να αποπειραθεί το σύνθετο διανοητικό του έργο,δηλαδή να σκεπτεί και να συμβάλλει ενεργά ή απλά να κάνει κάτι αόρατο , η έννοια του SEP είναι πολύ πιο εύκολη και εφαρμόσιμη . ” Μια κατάσταση SEP είναι κάτι που δεν μπορούμε να δούμε , ή δεν βλέπουμε , ή ο εγκέφαλος μας δεν μας αφήνει να δούμε , γιατί πιστεύουμε ότι είναι πρόβλημα κάποιου άλλου …. Ο εγκέφαλος το αφήνει απ’έξω, είναι σαν ένα τυφλό σημείο ” .

Το 80 % των ερευνητών στο οποίο αναφέρεται ο Brust είναι προφανώς της γνώμης ότι τα λάθη στη βιβλιογραφία είναι πρόβλημα κάποιου άλλου. Έχουμε αρκετά να μας απασχολούν ήδη με τη δικής μας έρευνας, δεν μας χρειάζεται να επαναλαμβάνουμε μετρήσεις που έχουν ήδη δημοσιευθεί στα μεγαλύτερα περιοδικά , έτσι δεν είναι;

Λάθος . Αυτό δεν είναι το πρόβλημα κάποιου άλλου . Αυτό είναι δικό μας πρόβλημά και πρέπει να το αντιμετωπίσουμε!

 

πηγή:  ARE FLAWS IN PEER REVIEW SOMEONE ELSE’S PROBLEM?

Advertisements

4 thoughts on “Θα έπρεπε να μας απασχολεί το προβληματικό peer review;

  1. Συμφωνώ, είναι πρόβλημα όλων των επιστημόνων, και των γνωστών του εκάστοτε θέματος, να διορθώνουν τις λανθασμένες δημοσιεύσεις!

    Like

  2. Συμφωνώ, σε κάθε εργασία πρέπει να ορίζονται reviewers όσο πιο σχετικοί με το θέμα γίνεται όπου να έχουν την εμπειρία να καταλαβαίνουν πιθανά λάθη και παραλήψεις(εσκεμμένες ή μη)

    Like

  3. Το χειρότερο στις δημοσιεύσεις δεν είναι τα λάθος αποτελέσματα αλλά όλες οι λεπτομέρειες που αποκρύβονται και καταστούν τα αποτελέσματα πλήρως αναξιόπιστα τις περισσότερες φορές.

    Like

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s