Podrían utilizarse para detectar ballenas francas del Atlántico Norte en imágenes aéreas reales
Al navegar por las redes sociales, es posible que te hayas entretenido con videos de Leonardo DiCaprio bailando o Tom Cruise cantando, solo para darte cuenta de que son parodias creadas con inteligencia artificial.
Vídeos e imágenes hiperrealistas como estos, también llamados deepfakes, son conocidos por las bromas de famosos. Pero esta tecnología también tiene importantes aplicaciones científicas. En el campo de la ecología, por ejemplo, los doppelgängers de especies raras creados por IA podrían mejorar los esfuerzos para comprenderlas, monitorearlas y protegerlas.
En concreto, los deepfakes de vida silvestre podrían ayudar a entrenar a los modelos de IA para que detecten la fauna silvestre en imágenes de satélites, aviones y drones. Los ecólogos recurren cada vez más a estas imágenes aéreas para estudiar el comportamiento de las especies y las tendencias poblacionales.
"Estamos verdaderamente en la era del big data en lo que respecta a la teledetección en ecología y conservación", dice Dave Johnston, director del Laboratorio de Robótica Marina y Teledetección en la Escuela de Medio Ambiente Nicholas de la Universidad de Duke. "En las últimas dos décadas, nuestra capacidad para recopilar imágenes de teledetección de alta resolución ha crecido exponencialmente, en gran medida gracias a los avances en la tecnología de drones y al aumento de las capacidades satelitales".
Aumento de datos
Tradicionalmente, los investigadores debían usar sus propios ojos para rastrear imágenes satelitales y aéreas en busca de especies objetivo. Ahora, las herramientas de IA de detección pueden agilizar el proceso. La clave está en los datos utilizados para entrenar los modelos informáticos. Los modelos necesitan "ver" muchísimos ejemplos realistas de una especie para saber qué buscar en las imágenes de campo.
Para algunas especies comunes de fauna silvestre, existe abundante material de archivo, por lo que recopilar datos de entrenamiento es bastante sencillo. Sin embargo, el material de archivo suele ser limitado para especies raras, que se mimetizan con su entorno o que viven en zonas inaccesibles, como zonas de guerra.
"Uno de los grandes desafíos en ecología es la escasez de datos", afirma Henry Sun, graduado de la Escuela Nicholas en 2025, con doble especialización en biología, ciencias marinas y conservación, y una especialización secundaria en informática. "Para una especie con solo unos cientos de individuos, simplemente no se contará con imágenes lo suficientemente diversas como para entrenar un buen modelo de IA de detección".
Imagen: Una de estas imágenes muestra una ballena jorobada real fotografiada por un dron. La otra imagen fue creada por IA. ¿Puedes distinguir cuál es cuál? Respuesta: La de la izquierda es falsa. Créditos, de izquierda a derecha: Laboratorio Duke MaRRS; Laboratorio Duke MaRRS (con permiso de la NOAA).
¿Qué puede hacer un ecólogo? Una opción prometedora es reforzar los escasos datos de entrenamiento con datos sintéticos o generados por IA; en esencia, deepfakes. Este enfoque, llamado aumento de datos, podría permitir nuevos conocimientos ecológicos.
Sun, ex becario Rachel Carson de la Nicholas School y becario de investigación de pregrado de la North Carolina Space Grant, investigó recientemente el tema del aumento de datos para su doctorado, que planea publicar. En concreto, exploró si la IA podría producir imágenes lo suficientemente realistas como para complementar las grabaciones aéreas de la ballena franca del Atlántico Norte, en peligro crítico de extinción, cuya población se ha reducido a menos de 400 individuos. En teoría, los datos sintéticos podrían utilizarse para entrenar otras herramientas de IA para detectar ballenas francas del Atlántico Norte en imágenes aéreas reales.
La investigación de Sun se inspiró en una colaboración más amplia entre la Escuela Nicholas y varias organizaciones canadienses, entre ellas la Agencia Espacial Canadiense, Pesca y Océanos Canadá, la Universidad de Nuevo Brunswick y el grupo de consultoría ambiental Hatfield Consultants, para construir un sistema de detección basado en el espacio para las ballenas francas del Atlántico Norte, que son notoriamente esquivas, en gran parte debido a su pequeña población.
"Hay mucho océano, y a pesar de que las ballenas están regresando, todavía hay muy pocas en comparación con el área que hay que buscar", dice Johnston, quien fue el director de tesis de Sun. "Eso significa que necesitamos herramientas muy eficientes para encontrarlas. Pero también significa que a menudo no disponemos de buenos archivos de datos para entrenar esos modelos para que las identifiquen".
Para crear ballenas deepfake, Sun y su equipo utilizaron modelos de difusión, que generan imágenes en respuesta a indicaciones en forma de texto descriptivo, una imagen ejemplar o ambas. Aunque otros investigadores han explorado maneras de aumentar los datos para su uso en la detección de ballenas, el equipo afirma ser el primero en utilizar modelos de difusión para este propósito.
Los investigadores utilizaron varios modelos de difusión disponibles comercialmente, preentrenados con grandes cantidades de datos de internet. En otras palabras, estos modelos base, como se les conoce, están preparados para producir diversas imágenes en respuesta a indicaciones.
Sun y su equipo experimentaron con varios métodos de generación de imágenes, primero utilizando indicaciones de texto, luego indicaciones de imágenes y, finalmente, un método llamado ajuste fino, que incluía indicaciones de texto e imágenes. El ajuste fino es una forma de mejorar el rendimiento de un modelo base para una tarea específica (en este caso, producir fotografías de ballenas hiperrealistas y de alta resolución) entrenándolo aún más en un conjunto de datos más pequeño y más específico.
"A veces, el modelo de difusión produce imágenes de ballenas anatómicamente deformadas, como ballenas unidas o con múltiples pares de aletas, lo que demuestra que aún no ha aprendido la representación más precisa", explica Sun. El ajuste puede enseñar al modelo a evitar esos errores.
Imagen: A veces, los modelos creaban ballenas anatómicamente deformadas, como esta ballena jorobada de dos colas. Crédito: Laboratorio Duke MaRRS
Prueba de credibilidad
En total, el equipo creó cientos de imágenes aéreas de ballenas francas del Atlántico Norte y, a modo de comparación, cientos de imágenes aéreas de ballenas jorobadas. Dado que se dispone de muchas más imágenes reales de ballenas jorobadas para entrenar la IA generativa, el equipo planteó la hipótesis de que sus modelos producirían imágenes sintéticas de ballenas jorobadas más realistas.
El último paso fue comprobar la veracidad de sus ballenas deepfake. ¿Eran creíbles? Para responder a esta pregunta, los investigadores introdujeron sus fotos en una herramienta de Google llamada Búsqueda Inversa de Imágenes, que analiza una imagen de entrada, busca imágenes similares en internet y genera resultados. En este caso, el objetivo era ver si Google podía reconocer las ballenas representadas en los datos sintéticos y devolver imágenes de la misma especie.
En las fotos falsas generadas mediante indicaciones de texto o imagen, Google confundió muchas ballenas francas del Atlántico Norte con ballenas jorobadas. En cambio, identificó correctamente ambas especies de ballena en casi todas las imágenes generadas mediante ajustes.
El equipo también descubrió que las imágenes de ballenas francas del Atlántico Norte creadas mediante ajuste fino eran más precisas que aquellas generadas solo con indicaciones de texto o imágenes.
La siguiente fase de la investigación consiste en investigar si las imágenes sintéticas de ballenas pueden realmente complementar los datos de entrenamiento de los modelos de detección de IA. Como punto de partida, Sun contrató a Max Niu, estudiante de Duke, para iniciar las pruebas básicas.
"Max ha estado entrenando modelos de aprendizaje profundo usando imágenes reales y algunas de las imágenes falsas que he creado", dice Sun. La idea es "ver si hay una proporción de imágenes falsas que beneficie al modelo".
Siguiendo la línea
Este otoño, Sun continuará sus estudios de doctorado en el Laboratorio Marino de Duke, trabajando en el laboratorio de Juliet Wong. Aunque planea centrar su atención en los erizos de mar, su compromiso es ayudar a desmitificar la IA para los investigadores.
"Algo que me interesa enormemente es el desarrollo de capacidades para científicos naturalistas en el ámbito de la inteligencia artificial, porque creo que, cada vez más, estas son habilidades que todos necesitamos", afirma Sun. Para ello, Sun espera organizar eventos de divulgación relacionados con la IA, como la sesión de una hora que impartió durante la Semana de los Océanos de Duke el pasado marzo sobre el uso de la IA en las ciencias oceánicas.
Sin embargo, a medida que más ecólogos recurran a la IA, las consideraciones éticas se volverán más urgentes, dice Holly Houliston, estudiante de doctorado del British Antarctic Survey y la Universidad de Cambridge, que ayudó a supervisar el trabajo de Sun como investigadora visitante en el Laboratorio Marino. Los centros de datos que impulsan la IA consumen mucha energía y agua, por lo que prácticas como la ampliación de datos con IA generativa deberían utilizarse de forma conservadora y específica, según Houliston.
"Hay que tener muy clara la pregunta ecológica que se intenta responder. Por ejemplo, si se observan crías de ballena, quizá se desee generar más imágenes de estos animales más jóvenes, ya que probablemente solo se tengan unas pocas. Pero si se cuenta con un conjunto de datos equilibrado, quizá no sea necesario generar más imágenes sintéticas", afirma Houliston. "El uso de modelos de difusión y de IA generativa en general tiene impactos ambientales. Estudios como este pueden ayudarnos a los ecólogos a comprender cómo utilizarlos responsablemente".
Como señala Johnston, "esta intersección entre la informática y las ciencias ambientales sólo va a crecer".
La investigación se ha publicado en Nature: Generative AI as a tool to accelerate the field of ecology
