En medio de una gran expectación en torno a la IA generativa, un nuevo estudio de investigadores del MIT arroja luz sobre el impacto de la tecnología en el trabajo y descubrió que aumentó la productividad de los trabajadores a los que se les asignaban tareas como escribir cartas de presentación, correos electrónicos delicados y análisis de costo-beneficio.

Las tareas en el estudio no eran exactamente réplicas del trabajo real: no requerían precisión fáctica precisa o contexto sobre cosas como los objetivos de una empresa o las preferencias de un cliente. Aún así, varios de los participantes del estudio dijeron que las tareas eran similares a las cosas que habían escrito en sus trabajos reales, y que los beneficios eran sustanciales. El acceso al chatbot de asistencia ChatGPT redujo el tiempo que les tomaba a los trabajadores completar las tareas en un 40 %, y la calidad de los resultados, medida por evaluadores independientes, aumentó en un 18 %.

Los investigadores esperan que el estudio, que aparece hoy en forma de acceso abierto en la revista Science, ayude a las personas a comprender el impacto que las herramientas de IA como ChatGPT pueden tener en la fuerza laboral.

“ Lo que podemos decir con certeza es que la IA generativa tendrá un gran efecto en el trabajo administrativo”, dice Shakked Noy, estudiante de doctorado en el Departamento de Economía del MIT, coautor del artículo con su compañera de doctorado Whitney Zhang ´21 . “Creo que lo que muestra nuestro estudio es que este tipo de tecnología tiene aplicaciones importantes en el trabajo administrativo. Es una tecnología útil. Pero aún es demasiado pronto para saber si será bueno o malo, o cómo exactamente hará que la sociedad se ajuste”.

Simulación de trabajo para chatbots

Durante siglos, a la gente le ha preocupado que los nuevos avances tecnológicos conduzcan a la automatización masiva y la pérdida de empleos. Pero las nuevas tecnologías también crean nuevos puestos de trabajo y, cuando aumentan la productividad de los trabajadores, pueden tener un efecto neto positivo en la economía.

“La productividad es una prioridad para los economistas cuando piensan en nuevos desarrollos tecnológicos”, dice Noy. “La visión clásica en economía es que lo más importante que hace el avance tecnológico es aumentar la productividad, en el sentido de permitirnos producir resultados económicos de manera más eficiente”.

Para estudiar el efecto de la IA generativa en la productividad de los trabajadores, los investigadores dieron a 453 especialistas en marketing con educación universitaria, escritores de subvenciones, consultores, analistas de datos, profesionales de recursos humanos y gerentes dos tareas de escritura específicas para su ocupación. Las tareas de 20 a 30 minutos incluían escribir cartas de presentación para solicitudes de subvenciones, correos electrónicos sobre la reestructuración organizacional y planes de análisis para ayudar a una empresa a decidir a qué clientes enviar notificaciones automáticas en función de los datos de los clientes. Profesionales con experiencia en las mismas ocupaciones que cada participante evaluaron cada presentación como si se encontraran en un entorno de trabajo. Los evaluadores no sabían qué envíos se crearon con la ayuda de ChatGPT.

A la mitad de los participantes se les dio acceso al chatbot ChatGPT-3.5, desarrollado por la empresa OpenAI, para la segunda tarea. Esos usuarios terminaron las tareas 11 minutos más rápido que el grupo de control, mientras que sus evaluaciones de calidad promedio aumentaron en un 18 por ciento.

Los datos también mostraron que la desigualdad de desempeño entre los trabajadores disminuyó, lo que significa que los trabajadores que recibieron una calificación más baja en la primera tarea se beneficiaron más del uso de ChatGPT para la segunda tarea.

Los investigadores dicen que las tareas eran ampliamente representativas de las asignaciones que estos profesionales ven en sus trabajos reales, pero notaron una serie de limitaciones. Debido a que estaban utilizando participantes anónimos, los investigadores no podían requerir conocimiento contextual sobre una empresa o cliente específico. También tenían que dar instrucciones explícitas para cada tarea, mientras que las tareas del mundo real pueden ser más abiertas. Además, los investigadores no pensaron que fuera factible contratar verificadores de hechos para evaluar la precisión de los resultados. La precisión es un problema importante para las tecnologías de IA generativa de hoy.

Los investigadores dijeron que esas limitaciones podrían disminuir el potencial de aumento de la productividad de ChatGPT en el mundo real. Aún así, creen que los resultados muestran la promesa de la tecnología, una idea respaldada por otro de los hallazgos del estudio: los trabajadores expuestos a ChatGPT durante el experimento tenían el doble de probabilidades de informar que lo usaban en su trabajo real dos semanas después del experimento.

“El experimento demuestra que brinda beneficios de velocidad significativos, incluso si esos beneficios de velocidad son menores en el mundo real porque necesita dedicar tiempo a verificar los hechos y escribir las indicaciones”, dice Noy.

Tomando la vista macro

El estudio ofreció una mirada de cerca al impacto que herramientas como ChatGPT pueden tener en ciertas tareas de escritura. Pero extrapolar ese impacto para comprender el efecto de la IA generativa en la economía es más difícil. Eso es en lo que los investigadores esperan trabajar a continuación.

“Hay tantos otros factores que van a afectar los salarios, el empleo y los cambios entre sectores que requerirían piezas de evidencia que no están en nuestro documento”, dice Zhang. “Pero la magnitud del tiempo ahorrado y los aumentos de calidad son muy grandes en nuestro papel, por lo que parece que esto es bastante revolucionario, al menos para ciertos tipos de trabajo”.

Ambos investigadores están de acuerdo en que, incluso si se acepta que ChatGPT aumentará la productividad de muchos trabajadores, queda mucho trabajo por hacer para descubrir cómo debería responder la sociedad a la proliferación de la IA generativa.

"La política necesaria para adaptarse a estas tecnologías puede ser muy diferente según lo que descubra la investigación futura", dice Zhang. “Si pensamos que esto aumentará los salarios de los trabajadores con salarios más bajos, eso es una implicación muy diferente a si va a aumentar la desigualdad salarial al aumentar los salarios de los que ya ganan mucho. Creo que hay muchos efectos económicos y políticos posteriores que es importante precisar”.

El estudio fue apoyado por una subvención de Emergent Ventures, el Mercatus Center, la Universidad George Mason, una subvención del Fondo George and Obie Shultz, el Departamento de Economía del MIT y una beca de investigación para graduados de la Fundación Nacional de Ciencias.

Autor