Hace unos meses, estaba trabajando en un artículo sobre los océanos del sistema solar. Después de haber leído hasta hartarme de los océanos de agua, recurrí a Google para repasar rápidamente la información sobre los océanos compuestos de otras cosas, como por ejemplo hidrocarburos líquidos. Para bien o para mal, busqué “océanos en el sistema solar que no son agua”. Busqué un enlace fiable, tal vez de la NASA. En cambio, la función AI Overviews de Google me ofreció Encélado como una de las sugerencias. Esta luna de Saturno es famosa por su mar subterráneo de agua salada. Cerré mi portátil con frustración.

Ese es un pequeño ejemplo de cómo falla la IA. Arvind Narayanan y Sayash Kapoor recopilan docenas de otros en su nuevo libro, AI Snake Oil (Aceite de serpiente para la IA), muchos con consecuencias mucho más preocupantes que la de irritar a un periodista científico. Escriben sobre herramientas de IA que pretenden predecir el éxito académico, la probabilidad de que alguien cometa un delito, el riesgo de enfermedades, las guerras civiles y el fraude a la asistencia social (SN: 20/2/18). En el camino, los autores entrelazan muchos otros problemas con la IA, que abarcan la desinformación, la falta de consentimiento para imágenes y otros datos de entrenamiento, reclamos falsos de derechos de autor, deepfakes, privacidad y el refuerzo de las desigualdades sociales (SN: 24/10/19). Abordan si deberíamos tener miedo de la IA y concluyen: "Deberíamos estar mucho más preocupados por lo que la gente hará con la IA que por lo que la IA hará por sí sola".

Los autores reconocen que la tecnología avanza rápidamente. Es posible que algunos de los detalles estén desactualizados (o al menos sean noticias viejas) cuando el libro llegue a sus manos. Y las discusiones claras sobre la IA deben enfrentarse a una falta de consenso sobre cómo definir términos clave, incluido el significado de la IA en sí. Aun así, Narayanan y Kapoor logran claramente su objetivo declarado: capacitar a las personas para distinguir la IA que funciona bien de la IA milagrosa, que definen como “la IA que no funciona y no puede funcionar como se anuncia”.

Narayanan es un científico informático de la Universidad de Princeton y Kapoor es estudiante de doctorado allí. La idea del libro surgió cuando las diapositivas de una charla que Narayanan dio en 2019 titulada “Cómo reconocer el aceite de serpiente de la IA” se volvieron virales. Se asoció con Kapoor, que estaba tomando un curso que Narayanan estaba enseñando con otro profesor sobre los límites de la predicción en entornos sociales.

Los autores apuntan directamente a la IA que supuestamente puede predecir eventos futuros. “Es en este ámbito donde se concentra la mayor parte de las mentiras falsas de la IA”, escriben. “La IA predictiva no solo no funciona hoy, sino que probablemente nunca lo hará, debido a las dificultades inherentes a predecir el comportamiento humano”. También dedican un largo capítulo a las razones por las que la IA no puede resolver los problemas de moderación de contenido de las redes sociales. (Kapoor había trabajado en Facebook ayudando a crear IA para la moderación de contenido). Un desafío es que la IA tiene dificultades con el contexto y los matices. Las redes sociales también tienden a fomentar contenido odioso y peligroso.

Los autores son un poco más generosos con la IA generativa, reconociendo su valor si se utiliza de forma inteligente. Pero en una sección titulada “Automatizar las tonterías”, los autores señalan: “ChatGPT es sorprendentemente bueno a la hora de sonar convincente sobre cualquier tema concebible. Pero no hay ninguna fuente de verdad durante el entrenamiento”. No se trata solo de que los datos de entrenamiento puedan contener falsedades (después de todo, los datos son en su mayoría texto de Internet), sino también de que el programa está optimizado para sonar natural, no necesariamente para poseer o verificar conocimientos. (Eso explica Enceladus).

Yo agregaría que una dependencia excesiva de la IA generativa puede desalentar el pensamiento crítico, la cualidad humana que está en el corazón mismo de este libro.

En cuanto a por qué existen estos problemas y cómo cambiarlos, Narayanan y Kapoor aportan un punto de vista claro: la sociedad ha sido demasiado deferente con la industria tecnológica. Es esencial una mejor regulación. “No nos parece bien dejar el futuro de la IA en manos de las personas que están actualmente al mando”, escriben.

Este libro es una lectura que vale la pena tanto si tomas decisiones políticas, utilizas IA en el lugar de trabajo o simplemente pasas tiempo buscando información en Internet. Es un poderoso recordatorio de cómo la IA ya se ha infiltrado en nuestras vidas y un llamado convincente a tener cuidado en la forma en que interactuamos con ella.

Compre aceite de serpiente de IA en Bookshop.org. Science News  es una filial de Bookshop.org y recibirá una comisión por las compras realizadas a través de los enlaces incluidos en este artículo.

¿Tiene preguntas o comentarios sobre este artículo? Envíenos un correo electrónico a  feedback@sciencenews.org | Preguntas frecuentes sobre reimpresiones

Acerca de Elizabeth Quill

Elizabeth Quill es exeditora ejecutiva de Science News

Autor