¿Son los fallos en la revisión por pares el problema de otra persona?

Por Philip Moriarty

Traducción: Francisco Romero Lairado

La pila de solicitudes de beca amontonadas en la mesa de café no se van a revisar solas. Tienes veinticinco solicitudes que leer antes de la cada vez más cercana fecha límite y sabías, antes de aceptar dicho trabajo de revisión, que muchas de ellas no tendrían que ver con tu especialización. Suspiro. Hora de coger un café y ponerse manos a la obra.

Como catedrático de física con unos treinta y cinco años de experiencia en materia condensada, tienes confianza de sobra en que puedes hacer comentarios profundos y reveladores sobre aquella solicitud que trata de la manipulación del espín del electrón en nanoestructuras (de aquel postdoc con talento
que conociste en la conferencia del año pasado). ¿Pero qué pasa con la propuesta sobre las proteínas de membrana? O peor, con el tratamiento de los arcanos aspectos de la teoría de cuerdas hecho por el matemático  reclamando un nuevo y radical enfoque a la supersimetría? ¿Realmente puedes hacer comentarios sobre dichas solicitudes con algún tipo de autoridad?

Por supuesto, gracias a Thomson Reuters no es necesario preocuparse demasiado por la falta de experiencia en esos campos. Inicias sesión en Web of Knowledge y compruebas el registro de publicaciones. Hmmm. El trabajo sobre las proteínas de membrana ha tenido un gran impacto – el articulo de Science de hace un par de años esa candidata ya ha logrado varios cientos de citas y su índice h está aumentando rápidamente. Parece que es una “estrella” en su comunidad. El teórico de cuerdas también se está abriendo camino.

Una pena lo de aquel tipo que trabaja con el espín del electrón. Estabas muy emocionado con aquel trabajo cuando asististe a su excelente charla en la conferencia en Estados Unidos, pero apenas tiene citas. ¿De verdad puedes darle una puntuación equiparable a la propuesta sobre las proteínas de membrana? Al fin y al cabo, ¿cómo podrías justificar dicha decisión con cualquier tipo de fundamento objetivo ante los miembros del panel interdisciplinario?

La bibliometría es la perdición de las vidas académicas. A menudo nos quejamos del ritmo al que métricas tales como el factor de impacto de las revistas y el famoso índice h están aumentando su dominio absoluto sobre la evaluación de la investigación. Y, a pesar de todo, como el hipotético ejemplo anterior demuestra, podemos ser nuestro peor enemigo intentando conseguir estadísticas de citas para evaluar trabajos que están fuera – o incluso firmemente dentro – de nuestra “zona cómoda” de experiencia.

David Colquhoun, uno de los farmacólogos más importantes a nivel mundial y bloguero de bastante reputación, ha señalado varias veces el peligro de la perezosa dependencia en análisis de citas para evaluar investigaciones e investigadores. Un artículo en particular, How to get good science, es un relato mordazmente honesto de la correlación (o falta de ella) entre citas y la importancia relativa del número de sus papers y de otros. Debería ser lectura obligatoria para todos aquellos que participan en evaluación de investigación en universidades, consejos de investigación, organismos de financiación y departamentos gubernamentales – particularmente aquellos que opinan que la bibliometría representa un método apropiado de clasificar la “producción” de científicos.

Colquhoun, en un lenguaje refrescantemente “robusto”, lo pone de la siguiente manera:

“Todo esto muestra lo que es obvio para todo el mundo excepto para contadores cabeza huecas. El único modo de valorar el mérito de un paper es preguntar a una selección de expertos en el campo.”
“Nada más funciona”
“Nada”

Una controversia en curso en área de invesgitación, la nanociencia, ha puesto de relieve la exposición de Colquhoun’s. El controvertido trabajo en cuestión representa un ejemplo particularmente convincente de la falacia de las estadísticas de citas como medida de la calidad de la investigación. También ha proporcionado ideas preocupantes en la publicación científica, y severamente dañado  mi confianza en el sistema de revisión por pares.

Las minucias del caso en cuestión has sido cubiertas en gran detalle en el blog de Raphael Levy, por lo que no recordaré los argumentos detallados aquí. En pocas palabras, el problema es el siguiente. Los autores de una serie de papers en las revistas científicas del más alto nivel – incluyendo Science y la familia Nature PUblishing Group – han afirmado que se forman rayas de nanopartículas sobre superficies debido a la separación de fase de diferentes tipos de ligandos. La única evidencia directa de la formación de dichas rayas viene de la Microscopía de Barrido con Sonda (en inglés, Scanning Probe Microscopy o “SPM”). (Los SPM son la base de nuestra investigación en el grupo de Nanociencia de la Universidad de Nottingham, de ahí mi gran interés en esta particular historia.)

Pero esos datos de SPM muestran características que se parecen notablemente a conocidos errores técnicos o “artifacts”, y el correspondiente análisis de datos parecer ser menos que riguroso en el mejor de los casos. En mi experiencia, el trabajo estaría pobremente calificado incluso como un informe de proyecto de un estudiante de grado o carrera, y sin embargo ha sido publicado en la que generalmente es considerada como las más importantes revistas de ciencia. (Y seamos claros – dichas revistas tienen un historial impresionante en cuanto a publicar avances interesantes y pioneros en ciencia.)

¿Y qué? ¿No es todo esto una tormenta en una taza de té sobre algunos aspectos arcanos de la nanocienca? ¿Por qué debería preocuparnos? ¿No se acabaría el problema si otros fallan intentando reproducir el trabajo? Después de todo, ¿no es la ciencia autocorrectiva al final?

Buenos argumentos. Sean pacientes conmigo – consideraré esas preguntas en un segundo. Tome un momento, no obstante, para volver a la sesión académica en casa con la pila de propuetas a revisar. Digamos que tenía una solicutud de beca relacionada con el trabajo de las rayas de nanopartículas para clasificar entre las demás. Un vistazo rápido a las estadísticas de citas en Web of Knowledge indicaría que este trabajo ha tenido un impacto importante durante un período muy corto. Ipso facto, debe ser de alta calidad.

Y aun así, si un experto – o, en este caso particular, incluso alguien relativamente novato en SPM – se tomara un par de minutos en leer uno de los papers de “rayas de nanopartículas”, estarían lejos de ser convencidos por las conclusiones a las que los autores llegaron. De nuevo, ¿qué fue lo que dijo Colquhoun? “El único modo de valorar el mérito de un paper es preguntar a una selección de expertos en el campo. Nada más funciona. Nada.”

En principio, la ciencia es de hecho autocorrectiva. Pero si hay fallos en trabajos ya publicados, ¿quién los arregla? Quizás el aspecto más molesto de la controversia con las rayas de nanopartículas fue señalado en un comentario de Mathias Brust, un pionero en el campo de la investigación con nanopartículas, según un artículo publicado en el Times Higher Education:

“He [hablado con expertos de alto nivel sobre esta controversia]… y déjeme decirle lo que me han dicho. Cerca del 80% de los científicos expertos en nanopartículas de oro no les importa un comino las rayas y encuentran imprudente que Levy se enganche en una disputa tan potencialmente perjudicial para su carrera. Cerca del 10% piensan que… los científicos compañeros deberían ser más amistosos entre ellos. Después de todo, nunca sabes quién evaluará tu próximo artículo. Cerca del 5% acogen de buen grado esta disputa, sin que haga falta decir que son mayormente aquellos que son críticos con las rayas (de nanopartículas). Esto me incluye a mí ahora. Inicialmente, estaba con el 80% y aconsejé a Raphael acorde a ello.”

[Aviso: Conozco a Mathias Brust muy bien y hemos colaborado y publicado artículos juntos en el pasado]

Soy bien consciente de que el conjunto de anécdotas no son datos pero el comentario de Brust resuena fuertemente conmigo. A veces he oído argumentos muy parecidos de colegas de física. El más preocupante de todos es la idea de que criticar trabajos publicados es de alguna manera, en el mejor de los casos, indecoroso, y en el peor, perjudicial para tu carrera. ¿Realmente a esto ha llegado la ciencia?

Douglas Adams, en un pasaje inspirado en Life, The Universe, and Everything, toma en concepto psicológico de “el problema de otra persona” (en inglés, someone else’s problem o “SEP”) y lo usa como la base de una “capa” de invisibilidad en la forma de un campo SEP. (Gracias a Dave Fernig, un compañero admirador de Douglas Adam, por recordarme el campo SEP. Como Adam lo presenta, en lugar de intentar la alucinantemente compleja tarea de realmente hacer invisible a alguien, un SEP es mucho más fácil de implementar. “Un SEP es algo que no podemos ver, o no ver, o nuestro cerebro no nos deja ver, porque pensamos que es el problema de otra persona… El cerebro simplemente lo edita, es como un punto ciego.”

El 80% de los investigadores a los que Brust se refiere aparentemente son de la opinión de que los fallos en la literatura son el problema de otro. Tenemos suficiente para seguir adelante en los términos de nuestra propia investigación original, sin repetir medidas que ya han sido publicadas en los revistas de más alta calidad, ¿verdad?

Incorrecto. Esto no es el problema de otra persona. Esto es nuestro problema y necesitamos hacerle frente.

Fuente: Are flaws in peer review someone else´s problem?

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s