The science of sustainable seafood, explained

La retractación de un estudio defectuoso sobre AMPs supone problemas mayores en los modelos científicos

Luego de meses de crítica pública y el hallazgo de un conflicto de interés, un destacado artículo científico (Cabral et al. 2020, A global network of marine protected areas for food) ha sido retractado recientemente por The Proceedings of the National Academy of Sciences (PNAS).

La retractación es un Gran Tema en ciencia, especialmente si es de una revista destacada. Lo extraño en esta historia es cómo se cruza el conflicto de interés con la ciencia. El conflicto de interés fue evidente inmediatamente luego de la publicación, pero no se impulsó una investigación hasta que se revelaron problemas importantes en la ciencia subyacente, y el artículo fue finalmente retractado.

Cabral et al. 2020 afirmaron que cerrando un 5% más del océano a la pesca, las capturas aumentarían en un 20%. Esta estadística rápida se convirtió en un gran titular: inmediatamente, el artículo fue tratado por The Economist, Forbes, Anthropocene Magazine, y The Conversation cuando se publicó en octubre de 2020. Llegó a la prensa popular (New York Times, Axios, National Geographic y The Hill citaron el artículo) y, finalmente, a los registros del congreso de Estados Unidos, ya que fue enviado como prueba de apoyo para un proyecto de ley por Deb Haaland, en ese entonces Representante y actual Secretaria del Interior. El Altmetric Attention Score, una medida de cuánto se comparte un artículo científico, sitúa el artículo de Cabral et al. 2020 entre el 5% de los más altos de todos los tiempos.

Pero más prensa conlleva más escrutinio. Muchos colaboradores cercanos al grupo de Cabral et al. escribieron críticas científicas que PNAS publicó a comienzos de este año. Las críticas señalaban errores y supuestos imposibles que indicaban enfáticamente que el artículo había sido revisado por pares de manera incorrecta.

Más tarde PNAS determinó que la persona responsable de asignar los revisores para el artículo de Cabral et al., Dr. Jane Lubchenco, presentaba un conflicto de interés. Ella colaboró con el grupo de Cabral et al. y fue la autora principal de un artículo publicado en Nature en marzo de 2021 que continuaba el trabajo de Cabral et al.. Ese artículo, Sala et al. 2021, incluía a los autores de Cabral et al. y dependía del mismo modelo de AMP que se debía revisar en PNAS.

Al poco tiempo de publicarse el artículo en Nature, el Dr. Magnus Johnson (de la Univerisdad de Hull en Reino Unido) escribió una carta al editor en jefe de PNAS informando del conflicto de interés; se comenzó una investigación y PNAS decidió retractar el artículo de Cabral et al. 2020 el día 6 de octubre de 2021, aproximadamente a un año de su publicación original.

Según el editor en jefe de PNAS, la relación de colaboración frecuente que tenía Lubchenco con los autores constituía un conflicto de interés, y también su relación personal con uno de los autores, el Dr. Steve Gaines, que era su cuñado. Ella no tendría que haber aceptado la tarea de editar el artículo. Estos conflictos de interés fueron claros y evidentes desde la primera vez que Cabral et al. 2020 fue enviado a revisión. Sin embargo, solo causó asombro cuando el artículo de Sala et al. 2021, la continuación del trabajo Cabral et al. 2020, recibió más atención de la prensa que cualquier otro artículo de ciencias oceánicas en el pasado reciente.

Ahora, el artículo de continuación de Sala et al. está siendo cuestionado y se han encontrado otras posibles imprecisiones.

timeline of events that led to the retraction of cabral et al. 2020

Un modelo computacional sumamente defectuoso con supuestos malos

Cabral et al. 2020 ensambló un modelo computacional usando muchos tipos de datos de pesquerías para predecir dónde se deberían colocar las áreas marinas protegidas (AMPs) para maximizar la producción mundial de alimentos marinos sostenibles. El modelo generó el mapa que se muestra a continuación, en el que las áreas verdes son de alta prioridad para las AMPs y las naranjas de baja prioridad.

Figure 2a from Cabral et al. 2020
Figure 2a from the now retracted Cabral et al. 2020, A global network of marine protected areas for food.

Las AMPs que buscan aumentar la producción de alimentos lo hacen a través de la reducción de la presión pesquera en lugares donde es muy alta (hay sobrepesca). Asia y el Sudeste Asiático presentan algunas de las tasas más altas de sobrepesca en el mundo; reducir  la presión pesquera allí es una obviedad, pero el modelo determinó baja prioridad para la protección de muchas de esas áreas.

El anterior mapa debió haber sido un gran llamado de atención para los revisores de Cabral et al. 2020. ¿Por qué se priorizaban las AMPs en todo Estados Unidos, donde prácticamente se ha eliminado la sobrepesca, pero no se priorizaba en India, Tailandia, Indonesia, Malasia, Vietnam y China?

Claramente, algo estaba mal con el modelo.  

Muchos investigadores que tienen una larga trayectoria de colaboración con los autores de Cabral et al. percibieron lo extraño en la priorización de AMPs y señalaron un problema fundamental: el modelo contenía supuestos que eran biológicamente imposibles. Asumía que las poblaciones de peces no evaluadas estaban vinculadas a nivel mundial; en el modelo, sus rangos geográficos podían extenderse a través de múltiples océanos y sus tasas de crecimiento se basaban en datos mundiales en vez de en datos locales más precisos.

Una población de peces «no evaluada» significa que no hay una evaluación científica consistente de su estado. Los datos sobre esas pesquerías son escasos. Comprenden alrededor de la mitad de las capturas mundiales, mientras que la otra mitad es monitoreada y evaluada. En las pesquerías monitoreadas y evaluadas todos los tipos de datos son recolectados consistentemente y almacenados en la base de datos RAM Legacy Database.

Al haber pocos datos, la incertidumbre sobre el futuro de las poblaciones de peces no evaluadas hace que sea necesario adoptar supuestos.  Pero la necesidad  de esos supuestos no es excusa para adoptar aquellos que son imposibles. El modelo en Cabral et al. asumía que las poblaciones de peces no evaluadas podían viajar y reproducirse en todo el rango de la especie en vez de que lo hicieran solo dentro de la población. Esto es similar a asumir que el bacalao atlántico del Mar del Norte podría interactuar con el del golfo de Maine, que viven a más de 3000 millas de distancia. En el modelo habían casos en los que se asumía que AMPs del Atlántico beneficiarían a peces en el Pacífico.

Cabral et al. también asumieron que la densodependencia era mundial en vez de local o regional, lo que significa que el reclutamiento de nuevos peces a una población (básicamente la tasa de nacimientos) dependía de su abundancia mundial en vez de local. En realidad, los efectos densodependientes solo son relevantes para una cierta población de una especie en particular, por ejemplo el bacalao del Mar del Norte versus el bacalao de todo el Atlántico; la abundancia del bacalao del Mar del Norte no tiene relación con la abundancia del bacalao del golfo de Maine a pesar de ser la misma especie.

La primera crítica señalando problemas con el modelo fue publicada en abril por Ray Hilborn (fundador de este sitio). Otra crítica hecha por Dan Ovando, Owen Liu, Renato Molino y Cody Szuwalski (todos hicieron sus estudios de doctorado o trabajos posdoctorales con miembros del grupo de Cabral et al.) extendió la crítica hecha por Hilborn indagando en las matemáticas. Encontraron que, debido al supuesto según el cual las especies estaban conectadas mundialmente, el modelo de Cabral et al. sobreestimó el rango geográfico de peces no evaluados por un factor de diecisiete, en comparación con los stocks científicamente evaluados.

Tal vez por ser biológicamente imposible, hay pocos antecedentes de modelar la dinámica de una especie como una población conectada mundialmente. Sin embargo, hay un antecedente de modelación a escalas regionales de poblaciones de peces no evaluadas. Hilborn, Ovando, Szuwalski, Cabral, y muchos otros autores de Cabral et al. 2020 fueron autores del artículo de Costello et al. 2016 titulado Global fishery prospects under contrasting management regimes, un artículo seminal que modeló a escala regional el rango de las pesquerías no evaluadas. Los autores de Cabral et al.2020 tenían un camino a seguir a partir de Costello et al.2016, pero cambiaron los supuestos.

Errores en los datos

Dado que los autores de la crítica hecha por Ovando et al. habían estado estrechamente involucrados en el artículo Costello et al. 2016, eran especialmente capaces de revisar e interpretar el código usado en Cabral et al. Ellos encontraron dos errores grandes:

  1. Sin saberlo, Cabral et al. crearon y usaron estimaciones incorrectas de mortalidad por pesca para las pesquerías evaluadas en el mundo. Eso resultó en una sobrestimación de la cantidad de beneficios que las AMPs podían producir sobre los alimentos y del tamaño de las AMPs que producirían tales beneficios. Ese error también aportó al mapa que, de manera incorrecta, priorizaba áreas con buena gestión pesquera para implementar AMPs.
  2. Incluyeron, por error, un gran stock (aproximadamente de 3 millones de toneladas métricas) que no existía, proveniente de una versión no actualizada de la base de datos RAM legacy. Además, lo ubicaron en el océano incorrecto al hacer el análisis.

Ovando et al. corrigieron los errores de codificación y realizaron el análisis nuevamente. Encontraron que los beneficios propuestos de las AMPs sobre los alimentos disminuyeron en un 50% pero aún se producían resultados extraños.

Ovando et al. comentaron (énfasis agregado):

Usando el modelo corregido, la red de AMPs para maximizar la producción de alimentos de Cabral y colaboradores cerraría 22% de la zona económica exclusiva (ZEE) de Estados Unidos a la pesca, pero solo cerraría en AMPs el 2,5% de la ZEE de India, 10% de la ZEE de Indonesia, y 12% de la ZEE de China… la mediana de la F/FMSY (tasa de mortalidad por pesca relativa a la tasa de mortalidad por pesca que produce el máximo rendimiento sostenible FMSY) de las pesquerías en India, Indonesia y China es cerca del doble de la de Estados Unidos, creando casi 5 veces más potenciales alimentos a partir de las reformas pesqueras en esas regiones en relación con Estados Unidos.

En su respuesta a Ovando et al., los autores de Cabral et al. reconocen que el modelo no es particularmente realista:

El supuesto clave que hicimos —que las poblaciones están bien mezcladas en toda la extensión de su rango geográfico—es realmente extremo

Sin embargo, en su nota de retractación, los autores continúan afirmando que sus conclusiones son válidas y que pretenden enviar nuevamente el artículo.

Vínculo con Sala et al. 2021

Su persistencia puede vincularse al artículo de Sala et al. 2021, Protecting the global ocean for biodiversity, food, and climate, una destacada continuación del artículo publicada el pasado marzo en Nature. Presenta muchos modelos computacionales que predicen que un aumento en las AMPs para reducir la pesca tiene beneficios para la biodiversidad, la producción de alimentos y las emisiones de carbono. El modelo de AMP para el suministro de alimentos usado por Sala et al. 2021 es el mismo que se usa en Cabral et al. 2020 y su justificación se  basó en resultados del artículo ahora retractado.

De hecho, todos los autores del artículo Cabral et al. 2020 también lo fueron en el de Sala et al., incluyendo los cuatro primeros autores del artículo de Sala (los autores generalmente se ordenan por contribución, excepto el autor principal que es el último de la lista). El artículo Sala et al. fue el más destacado del año entre los trabajos de ciencias oceánicas con un puntaje Altmetric 4 veces más alto que el de Cabral et al. 2020 —fue comentado en casi todos los periódicos más importantes de América del Norte y Europa.

Los errores reconocidamente indiscutibles de Cabral et al. 2020 fueron corregidos en el artículo de Sala et al., pero se mantienen los supuestos biológicamente imposibles según los cuales los peces no evaluados pueden viajar a través de los océanos y la densodependencia es mundial en vez de local.

Los mismos autores de la crítica al artículo de Cabral hecha por Ovando et al. han respondido al artículo de Sala et al., demostrando que las estimaciones hechas por Sala et al. de los efectos de una red mundial de AMPs sobre la producción de alimentos no eran confiables.

En la crítica original a Cabral et al., los autores de Ovando et al. afirman que «omitir la distancia en los modelos de AMP produce resultados que no son creíbles». Antes de ser retractado, los autores de Cabral et al. respondieron diciendo que sus resultados fueron «un punto de partida útil».

Sin embargo, la crítica de Ovando et al. sobre Sala et al. muestra porqué eso no es verdad:

En vez de solamente afirmar que los supuestos fueron mal elegidos, en su reciente trabajo Ovando et al. hicieron nuevamente los análisis de Sala et al. asumiendo que los peces se quedan en su región (definida por la FAO, Naciones Unidas) y dependen de factores locales (los mismos supuestos, más realistas, del trabajo de Costello et al. 2016, en el que trabajaron todos juntos y en el que se basaron tanto Cabral et al. 2020 como Sala et al. 2021).

Cambiando solo dos supuestos hechos por Sala et al. 2021 por otros diferentes e igualmente (sino más) plausibles, generamos un panorama claramente distinto de la magnitud de los beneficios potenciales de las AMPs sobre los alimentos, y de la ubicación de áreas prioritarias para AMPs diseñadas en relación a la seguridad alimenticia.

Costello et al. 2016 marcaron un estándar razonable para evaluar poblaciones de peces no evaluadas. Ese artículo asumía que los peces viven en su región FAO y dependen de la abundancia local para sus tasas de crecimiento poblacionales; es decir, casi los mejores supuestos que se pueden asumir sobre poblaciones de peces no controladas, considerando los datos disponibles.

Sala et al. y Cabral et al. modificaron esos supuestos para decir que las poblaciones de peces no evaluadas están interconectadas en el mundo y dependen de la ecología mundial  para sus tasas de crecimiento poblacional. ¿Por qué hacer eso cuando están disponibles supuestos más realistas que han sido usado previamentes por los autores? Tanto el artículo de the Cabral como el de Sala usaron valores del de Costello et al. como la base del modelo y luego cambiaron los supuestos por unos menos plausibles.

La revisión por pares fue defectuosa, ¿en qué medida se debió al conflicto de interés?

El artículo de Cabral et al. claramente tuvo una revisión por pares defectuosa. Un revisor debidamente exhaustivo habría visto el mapa propuesto de AMPs, se habría preguntado por qué las AMPs estaban priorizadas en Estados Unidos y no en regiones sobrepescadas de Asia, y habría instado a los autores a explicar por qué el mapa parecía «raro». Encontrar los errores de codificación sería una tarea difícil; tal vez solo los podrían haber encontrado quienes contribuyeron al código original en el artículo anterior de Costello et al., pero analizar el mapa en detalle y aclarar los supuestos tendría que haber sido primordial, el primer principio de los pasos en la revisión por pares que tendría haber conducido al descubrimiento de errores.

Entonces, ¿cómo termina Cabral et al. en PNAS, una de las revistas más prestigiosas en el campo, y luego se reproduce en Nature en el artículo más comentado del año? La primera decisión fue hecha por los editores de PNAS que leyeron el artículo, pensaron que merecía consideración, y luego le asignaron un editor individual de PNAS para que profundice más y encuentre revisores pares. En este caso, el editor asignado a Cabral et al. fue la Dra. Jane Lubchenco, antigua directora de NOAA y distinguida científica y defensora de AMPs. Tendría sentido su elección para editar y encontrar revisores para los modelos de AMPs, pero ella tenía un conflicto de interés:

Cabral et al. fue enviado a PNAS el 6 de enero de 2020. Cabe mencionar que el artículo de Sala et al. fue enviado a Nature dos semanas antes, el 19 de diciembre de 2019. El autor principal en el artículo de Sala et al. fue Jane Lubchenco. A ella no tendrían que haberle permitido enviar el artículo de Sala junto a otros autores ni asignar revisores para una parte fundamental del artículo dos semanas después. Su cuñado, el Dr. Steve Gaines, fue también un autor en ambos artículos: las relaciones familiares son otro conflicto de interés.

El editor en jefe de PNAS le dijo a Retraction Watch que ambos conflictos de interés habrían sido suficientes para la retractación, aún en «ausencia de los errores en los datos.»

Será interesante ver a dónde se envía nuevamente el artículo de Cabral y cómo se revisa.

Más análisis detallados de los otros modelos presentados en Sala et al. 2021

Probablemente usted vio un titular que trate sobre Sala et al. 2021. La mayoría de la prensa se centró en su modelo de carbono que concluía «El Arrastre de Fondo Libera Tanto Carbono como el Viaje Aéreo.»

Headline by Vox covering Sala et al. 2021
Headline by Time covering Sala et al. 2021
Headline by New York Times covering Sala et al. 2021
Es casi seguro que estos titulares no son ciertos.

El modelo de carbono fue el primer intento de cuantificar el impacto del arrastre de fondo en el cambio climático global, un tipo de pesca en el que las redes se arrastran por el fondo del mar. El arrastre de fondo levanta sedimento; los investigadores intentaron dilucidar cuánto carbono almacenado en el sedimento se disuelve nuevamente en el agua marina debido a la perturbación del arrastre. Más carbono disuelto en el agua significa que menos carbono atmosférico puede ser absorbido por el océano, contribuyendo al cambio climático. El carbono disuelto en el agua marina también causa la acidificación del océano.

Sala et al. afirmaron que su modelo de carbono es una «mejor estimación», pero otros científicos no están de acuerdo y han señalado problemas en el modelo que hacen eco de los mismos problemas con el modelo de Cabral et al.: supuestos imposibles.

Una respuesta de et al. advirtió uno de los supuestos falsos del modelo de carbono: que es sedimento es inerte hasta que es perturbado por el arrastre. Según Hiddink et al., esto ignora «décadas de investigación geoquímica sobre el procesamiento natural de [carbono] en sedimentos marinos». Hay muchas criaturas marinas que se entierran en el fondo del mar, casi todas ellas devuelven el carbono al agua marina (la mayoría de los organismos, como los humanos, respiran carbono).

Hiddink et al. también afirman que el modelo de Sala et al. sobrestimó considerablemente la cantidad de sedimento que se perturba: El modelo asumió que todo el sedimento en la profundidad de penetración es resuspendido en la columna de agua, mientras que «observaciones de campo muestran que el arrastre resuspende solo [~10%]».

Hiddink et al. dicen que el modelo de Sala et al. sobrestima los impactos de carbono en un orden de magnitud o más.

¿Fue éste otro caso de una falla en la revisión por pares? Un orden de magnitud o más es un error sustancial.

Los modelos de carbono y alimentos no fueron los únicos con supuestos cuestionables. El modelo de biodiversidad en Sala et al. afirmaba que la biodiversidad en el océano aumentaría al aumentar las AMPs. Sin dudas, eso es cierto dentro de un AMP, pero el modelo asumía que las tasas de pesca se mantenían constantes fuera de las AMPs propuestas, lo que significa que el esfuerzo dentro de la AMP desaparece en vez de moverse a otro lado. Esto entra en conflicto directo con los supuestos del modelo de suministro de alimentos presentado en sus resultados principales, el cual asumía que el esfuerzo dentro de una AMP se movía a algún otro lugar.

No es solamente esta elección y presentación de los supuestos sobre las AMPs: en la vida real, eso rara vez ocurre. Cuando se le dice a los pescadores que no pueden pescar en un área en particular, ellos generalmente pescan más en otras áreas. Asumir que las tasas de pesca se mantienen iguales fuera de las AMPs probablemente exagera los beneficios prácticos de las AMPs para la biodiversidad.

El hecho de elegir los supuestos del modelo a presentar en Sala et al. ha suscitado otra crítica por parte de Hilborn y Kaiser (aún no publicada en un servidor de pre-impresión). Sala et al. 2021 sí han reportado supuestos consistentes de presión pesquera  en resultados secundarios y materiales complementarios, aunque no fueron parte del artículo principal.

Al preguntarle sobre el estado de las tres respuestas conocidas para Sala et al. (Ovando et al., Hiddink et al., y Hilborn & Kaiser), Nature no hizo comentarios ya que el proceso de revisión es confidencial.

Las predicciones necesitan más análisis detallado y menos prensa

Independientemente de cualquier conflicto de interés, la ciencia tanto en Cabral et al. como en Sala et al.  tiene errores críticos pero está siendo usada para abogar por políticas públicas. Ambos siguen una tendencia reciente de publicar predicciones que usan un conjunto limitado de supuestos (en un mundo muy incierto) para producir mapas mundiales que se publican en revistas destacadas y obtienen considerable atención política y de los medios.

Los modelos computacionales son herramientas escenciales para la ciencia y la gestión, pero la precisión de sus predicciones depende de la calidad de los datos y  de los supuestos en los que se basan. Generalmente, un problema es tan complejo que muchos supuestos pueden ser igualmente plausibles; los lectores necesitan saber cuando distintos supuestos pueden conducir a resultados considerablemente distintos.

Los artículos de Cabral et al. y de Sala et al.  ignoran la incertidumbre prefiriendo especificar valores para los parámetros de su modelo. Ellos no toman en cuenta la enorme incertidumbre en estos parámetros y no brindan evidencia sólida de que su elección de los valores fue correcta. Los supuestos y los parámetros generan grandes titulares, pero básicamente no son útiles para el futuro de la gobernanza y sostenibilidad del océano. Esperamos que los políticos y gestores de recursos tomen decisiones basadas en la mejor ciencia disponible. Los supuestos inconsistentes e irreales no lo son.

Picture of Max Mossler

Max Mossler

Max is the managing editor at Sustainable Fisheries UW.

Share this story:

Share
Tweet
Pin
Post
Email
Link

Subscribe to our newsletter:

Read more:

Leave a Reply

Ray Hilborn's every-so-often newsletter

The best way to keep up with our stories.