Table of Contents
En una reciente entrevista para Apiumhub, Ben Evans, reconocido arquitecto de software, experto en tecnologías JVM, y principal engineer en Red Hat, ha compartido sus puntos de vista sobre los desafíos actuales y potenciales problemas que la inteligencia artificial (IA) podría enfrentar en un futuro cercano.
Como figura muy involucrada en el mundo de la arquitectura de software, las opiniones de Ben son de peso, y su análisis arroja luz sobre algunos problemas críticos que la IA está enfrentando, o a punto de enfrentar.
En este artículo, profundizamos en la entrevista de Ben Evans, donde discute varios desafíos que, según él, van a enfrentar los LLMs (como, por ejemplo, ChatGPT), al respecto de costos y sostenibilidad, precisión, tiempo de inactividad, propiedad de datos, modelos estrechamente enfocados o bucles de retroalimentación.
Los desafíos para la IA según Ben Evans
Costes y sostenibilidad
“Tan solo operar CHATGPT podría costar unos 700.000 dólares al día”
Según Ben, los costos sustanciales asociados con la operación de modelos de lenguaje grandes (LLM) como GPT-3 pueden llegar a poner al límite el presupuesto de una empresa, lo que los podría volver económicamente insostenibles a largo plazo.
Pensemos en OpenAI, compañía que ha revolucionado el mundo tecnológico gracias a sus conocidísimas Inteligencias artificiales de imagen y texto respectivamente: DALL·E y ChatGPT. Según ha publicado el medio estadounidense “The Information”, antes de la publicación de la IA de pago de ChatGPT, los ingresos de esta compañía llegaban a los 28 millones de dólares, mientras que sus pérdidas alcanzaban los 540 millones.
Si bien, en el caso de una compañía tan conocida como esta, el lanzamiento de la versión de pago de ChatGPT podría mejorar estos números, es previsible que también los costos sean cada vez superiores, a medida que la infraestructura de la plataforma deba dar soporte a más usuarios. Según una estimación de SemiAnalysis, el costo de mantener a ChatGPT3 (la versión gratuita de la Inteligencia artificial) rondaría los 700,000 $ al día.
Además del costo económico, están también las preocupaciones sobre la sostenibilidad ambiental. Y es que no sólo se requiere energía para alimentar los servidores, sino que los conjuntos de datos utilizados para entrenar el modelo suelen ser extremadamente grandes, lo que requiere mucha energía para procesar y almacenar. Siguiendo con el ejemplo anterior, tan sólo OpenAI, se estima que consume 2.7 megavatios de electricidad al año, equivalente al consumo de energía de 11,000 hogares.
Precisión
Aunque han sorprendido a propios y extraños, los LLM aun cometen errores de precisión que limitan sus usos en ámbitos comerciales.
Ben comenta también sus preocupaciones sobre la precisión de los LLM. Y es que, aunque los modelos publicados han impresionado a propios y extraños, aún hay margen para mejorar la generación de resultados precisos y confiables.
Y es que estos modelos procesan grandes cantidades de texto, y aprenden patrones de lenguaje, lo que implica respuestas basadas en la probabilidad y no en la veracidad de la información, como en estos ejemplos recientes de ChatGPT.
Otras plataformas basadas en estos modelos han ofrecido en ocasiones respuestas controvertidas, como en esta captura en que la IA de Bing propone a un usuario decir “Heil Hitler!) y que se hizo bastante conocida en su momento.
Esta herramienta también ha reportado otros casos imprecisos, como el de la siguiente captura.
Este tipo de problemáticas propiciaron que Bing limitará a cinco las preguntas que se podían hacer por sesión. Límite que se ha ido incrementando progresivamente a medida que se solucionaban problemas con la plataforma.
Estas problemáticas pueden resultar curiosas en un momento dado, pero también problemáticas, dependiendo del contexto. Pensemos por ejemplo en los usos para atención al cliente que se están dando a los LLM. Un modelo incapaz de generar información correcta, o que ofrece información sesgada podría derivar en daños a la reputación de la empresa, provocando la frustración entre clientes y migración a un competidor. Y es que sólo las empresas estadounidenses pierden $136.8 mil millones al año debido a la pérdida evitable de clientes, según CallMiner.
Narrowly Focused Models
«Narrowly Focused Models» se refiere a modelos de inteligencia artificial o aprendizaje automático que están diseñados para llevar a cabo tareas específicas o limitadas en lugar de realizar una variedad de tareas generales.
Ben Evans sugiere que una alternativa a muchos de los errores de precisión de los LLM podría pasar por un cambio hacia modelos de lenguaje especializados. y que estos modelos podrían proporcionar resultados altamente precisos dentro de dominios específicos, como la programación, o la traducción automática de textos, por ejemplo.
Downtime
El tiempo de inactividad que experimentan algunos modelos de lenguaje grande es también una de las problemáticas que indica Ben. Tiempo de inactividad que afecta directamente la usabilidad del modelo. Lo que tiene un impacto en la productividad, beneficios, y productividad de la compañía. Unos costes difíciles de calcular, porque además dependen del contexto. Un problema de inactividad durante un periodo con un pico de uso puede suponer más pérdidas que en otro momento.
Según un estudio del Ponemon Institute, el coste medio de estos problemas de inoperatividad aumenta porcentualmente desde que comenzaron los estudios hace más de una década. El costo promedio de una interrupción en un centro de datos aumentó de $690,204 en 2013 a $740,357 en 2016 (fecha del estudio).
Data Ownership
¿A quién pertenecen los datos usados para el entrenamiento de LLM basados en internet?
La protección de datos es otra de las grandes preocupaciones acerca de estos modelos. Determinar quién es el propietario de los datos utilizados para el entrenamiento puede convertirse en un desafío legal y ético.
Cuando un LLM genera contenido basado en una amplia gama de fuentes de internet, es difícil identificar y atribuir las fuentes de datos, lo que puede implicar conflictos de derechos de autor y privacidad. Cuando la máquina agrega y combina los datos, puede resultar extremadamente difícil determinar qué piezas provienen de qué fuentes y, por lo tanto, difícil determinar quién posee los derechos sobre los datos y si se ha utilizado con el permiso del propietario original. Como resultado, existe el riesgo de que los datos se utilicen sin el permiso de su propietario, lo que puede llevar a problemas legales que aun no han sido resueltos.
Sin ir más lejos, la web de contenido gráfico y artístico DeviantArt ha interpuesto una demanda colectiva contra Stable Diffusion y Midjourney, dos de las IAs generativas de imágenes más conocidas, al considerar que estas IAs se basan en el trabajo previo de miles de artistas que se encuentran, en muchos casos, alojados en la plataforma demandante. Los demandantes entienden que, aunque las imágenes generadas por inteligencia artificial sean nuevas, las plataformas que las generan se han entrenado (y por tanto beneficiado) con imágenes que estaban sujetas a derechos de autor, sin disponer de permiso, o dar ningún tipo de compensación o crédito.
Y no sólo esto. GitHub Copilot también ha recibido una demanda colectiva en su contra por motivos similares. Y es que el modelo “Codex” en que se basa esta plataforma se ha entrenado con código de “millones de repositorios públicos”. Extremo que los demandantes consideran que viola las licencias “open source” a que este código estaba sujeto.
La comunidad demandante considera en este caso además que estos usos interesados por parte de empresas privadas ponen en riesgo la existencia misma de las comunidades open source, que ven ahora cómo su código disponible “en abierto” puede ser usado para generar software de uso 100% comercial, extremo que no se ajusta a la filosofía de estas comunidades.
La resolución judicial de este conflicto aún está por ver. Las consideraciones éticas están, a su vez, también abiertas a discusión.
Bucles de retroalimentación en Inteligencia Artificial
Por último, Ben Evans habla de la problemática de gestionar los bucles de retroalimentación entre los datos de entrenamiento y el texto generado en los LLM. Estos bucles pueden resultar en un comportamiento no deseado, deteriorando el modelo.
Y es que hasta su nacimiento, los LLM se han entrenado con input “generado por humanos”, pero desde su salida para uso de público generalista, se ha volcado cada vez más texto generado por LLM en la web, aumentando el riesgo de que la plataforma se siga entrenando, a su vez, con texto generado por ella misma. Extremo que perpetuaría sesgos a la hora de generar contenido, creando un bucle de retroalimentación de desinformación que deteriora la calidad de la respuesta del modelo.
El LLM no es capaz de discernir si el contenido que produce es verídico o no, por lo que ante esta problemática, el modelo seguiría creando contenido “basura” que por el momento no está entrenado para reconocer.
Las consideraciones de Ben arrojan luz sobre los desafíos multifacéticos que enfrenta la IA, enfatizando la necesidad de una mejora técnica constante así como animando a tener en cuenta consideraciones éticas. Si bien la IA presenta un tremendo potencial, también exige un escrutinio meticuloso y un desarrollo responsable para superar estos obstáculos.
Ben Evans discute estos desafíos de la IA como parte de una entrevista más amplia. Puedes ver la entrevista completa aquí.
Ben también será un ponente destacado en el Global Software Architecture Summit (GSAS 2023), un evento de 3 días que reune a arquitectos de software y entusiastas en el sector para aprender y conectar. Puedes adquirir tu entrada aquí.
