¿Qué son los LLM y cómo se utilizan en la IA generativa? (2023)

Cuando llegó ChatGPT en noviembre de 2022, popularizó la idea de queinteligencia artificial generativa(AI) podría ser utilizado por empresas y consumidores para automatizar tareas, ayudar con ideas creativas e incluso codificar software.

Si necesita resumir un correo electrónico o un hilo de chat en un resumen conciso, un chatbot como ChatGPT de OpenAI o Bard de Google puede hacerlo. Si necesita mejorar su currículum con un lenguaje más elocuente y viñetas impresionantes, la IA puede ayudarlo. ¿Quiere algunas ideas para una nueva campaña publicitaria o de marketing? IA generativa al rescate.

ChatGPT significa transformador preentrenado generativo de chatbot. La base del chatbot es el modelo de lenguaje grande (LLM) de GPT, un algoritmo informático que procesa entradas de lenguaje natural y predice la siguiente palabra en función de lo que ya se ha visto. Luego predice la siguiente palabra, y la siguiente palabra, y así sucesivamente hasta completar su respuesta.

En los términos más simples, los LLM sonmotores de predicción de la siguiente palabra.

Junto conGPT-3 y 4 LLM de OpenAI, los LLM populares incluyen modelos abiertos como el de GoogleLaMDAyPalmeraLLM (la base para Bard),BLOOM de la cara abrazadorayXLM-RoBERTa,LLM NeMO de Nvidia,XLNet,Adherirse, yGLM-130B.

Los LLM de código abierto, en particular, están ganando terreno, lo que permite a un grupo de desarrolladores crear modelos más personalizables a un costo menor. El lanzamiento de Meta en febrero deLlama(Large Language Model Meta AI) inició una explosión entre los desarrolladores que buscaban construir sobre los LLM de código abierto.

Los LLM son un tipo de IA que actualmente están capacitados en una gran cantidad de artículos, entradas de Wikipedia, libros, recursos basados ​​en Internet y otros insumos para producir respuestas similares a las humanas a las consultas en lenguaje natural. Esa es una inmensa cantidad de datos. Pero los LLM están destinados a reducirse, no a crecer, ya que los proveedores buscan personalizarlos para usos específicos que no necesitan los conjuntos de datos masivos que utilizan los modelos más populares de la actualidad.

Por ejemplo, el nuevo LLM PaLM 2 de Google, anunciado a principios de este mes, utiliza casi cinco veces más datos de entrenamiento que su predecesor de hace apenas un año: 3,6 billones de tokens o cadenas de palabras,según un informe. Los conjuntos de datos adicionales permiten que PaLM 2 realice tareas más avanzadas de codificación, matemáticas y escritura creativa.

Shutterstock

Entonces, ¿qué es un LLM?

Un LLM es una red neuronal de aprendizaje automático entrenada a través de conjuntos de entrada/salida de datos; con frecuencia, el texto no está etiquetado ni categorizado, y el modelo utiliza una metodología de aprendizaje autosupervisado o semisupervisado. La información se ingiere, o el contenido se ingresa, en el LLM, y el resultado es lo que el algoritmo predice que será la siguiente palabra. La entrada puede ser datos corporativos patentados o, como en el caso de ChatGPT, cualquier dato que se alimente y extraiga directamente de Internet.

Capacitar a los LLM para que usen los datos correctos requiere el uso de granjas de servidores masivas y costosas que actúan como supercomputadoras.

Los LLM están controlados por parámetros, como en millones, miles de millones e incluso billones de ellos. (Piense en un parámetro como algo que ayuda a un LLM a decidir entre diferentes opciones de respuesta). El LLM GPT-3 de OpenAI tiene 175 mil millones de parámetros, y el último modelo de la compañía:GPT-4- espretendía tener 1 billón de parámetros.

Por ejemplo, podría escribir en una ventana de aviso de LLM "Para el almuerzo de hoy comí...". El LLM podría volver con "cereal", o "arroz" o "steak tartar". No hay una respuesta 100 % correcta, pero hay una probabilidad basada en los datos ya incorporados en el modelo. La respuesta "cereal" podría ser la respuesta más probable según los datos existentes, por lo que el LLM podría completar la oración con esa palabra. Pero, debido a que el LLM es un motor de probabilidad, asigna un porcentaje a cada respuesta posible. El cereal puede aparecer el 50 % de las veces, el “arroz” podría ser la respuesta el 20 % de las veces, el bistec tártaro el 0,005 % de las veces.

“El punto es que aprende a hacer esto”, dijo Yoon Kim, profesor asistente en MIT que estudia Aprendizaje automático, Procesamiento del lenguaje natural y Aprendizaje profundo. "No es como un ser humano: un conjunto de entrenamiento lo suficientemente grande asignará estas probabilidades".

Pero cuidado: basura dentro, basura fuera. En otras palabras, si la información que ha ingerido un LLM es sesgada, incompleta o indeseable, entonces la respuesta que da podría ser igualmente poco confiable, extraña o incluso ofensiva. Cuando una respuesta se descarrila, los analistas de datos se refieren a ella como "alucinaciones", porque pueden estar muy desviadas.

"Las alucinaciones ocurren porque los LLM, en su forma más básica, no tienen una representación estatal interna del mundo", dijo Jonathan Siddharth, director ejecutivo de Turing, una empresa de Palo Alto, California, que utiliza IA para encontrar, contratar e incorporar. ingenieros de software de forma remota. "No hay concepto de hecho. Están prediciendo la siguiente palabra en función de lo que han visto hasta ahora: es una estimación estadística".

Debido a que algunos LLM también se capacitan en datos basados ​​en Internet, pueden ir mucho más allá de lo que sus desarrolladores iniciales los crearon para hacer. Por ejemplo, Bing de Microsoft usa GPT-3 como base, pero también consulta un motor de búsqueda y analiza los primeros 20 resultados más o menos. Utiliza tanto un LLM como Internet para ofrecer respuestas.

“Vemos cosas como un modelo que se entrena en un lenguaje de programación y estos modelos generan automáticamente código en otro lenguaje de programación que nunca ha visto”, dijo Siddharth. “Incluso el lenguaje natural; no está entrenado en francés, pero puede generar oraciones en francés”.

“Es casi como si hubiera algún comportamiento emergente. No sabemos muy bien cómo funciona esta red neuronal”, agregó. “Es aterrador y emocionante al mismo tiempo”.

Shutterstock

Otro problema con los LLM y sus parámetros son los sesgos no deseados que pueden introducir los desarrolladores de LLM y la recopilación de datos autosupervisada de Internet.

¿Los LLM están sesgados?

Por ejemplo, es muy probable que los sistemas como ChatGPT brinden respuestas con sesgo de género en función de los datos que han ingerido de Internet y los programadores, según Sayash Kapoor, Ph.D. candidato en el Centro de Políticas de Tecnología de la Información de la Universidad de Princeton.

“Probamos ChatGPT en busca de sesgos implícitos, es decir, el género de la persona no se menciona obviamente, sino que solo se incluye como información sobre sus pronombres”, dijo Kapoor. "Es decir, si reemplazamos "ella" en la oración con "él", ChatGPT tendría tres veces menos probabilidades de cometer un error".

Los sesgos innatos pueden ser peligrosos, dijo Kapoor, si los modelos de lenguaje se utilizan en entornos consecuentes del mundo real. Por ejemplo, si se utilizan modelos de lenguaje sesgado en los procesos de contratación, pueden generar sesgos de género en el mundo real.

Dichos sesgos no son el resultado de que los desarrolladores programen intencionalmente sus modelos para que estén sesgados. Pero, en última instancia, la responsabilidad de corregir los sesgos recae en los desarrolladores, porque son ellos los que lanzan y se benefician de los modelos de IA, argumentó Kapoor.

¿Qué es la ingeniería rápida?

Si bien la mayoría de los LLM, como GPT-4 de OpenAI, están precargados con cantidades masivas de información,pronta ingenieriaLos usuarios también pueden entrenar el modelo para una industria específica o incluso para uso organizacional.

“La ingeniería rápida se trata de decidir con qué alimentamos este algoritmo para que diga lo que queremos”, dijo Kim del MIT. “El LLM es un sistema que simplemente balbucea sin ningún contexto de texto. En algún sentido del término, un LLM ya es un chatbot”.

La ingeniería rápida es el proceso de elaboración y optimización de mensajes de texto para que un LLM logre los resultados deseados. Tal vez igual de importante para los usuarios, la ingeniería rápida está lista para convertirse en una habilidad vital para los profesionales de TI y de negocios.

Debido a que la ingeniería rápida es una disciplina incipiente y emergente, las empresas confían en folletos y guías rápidas como una forma de garantizar respuestas óptimas de sus aplicaciones de IA. Incluso están surgiendo mercados para avisos, como elLas 100 mejores indicaciones para ChatGPT.

Tal vez igual de importante para los usuarios, la ingeniería rápida está a punto de convertirse en una habilidad vital para los profesionales de negocios y de TI, según Eno Reyes, un ingeniero de aprendizaje automático con Hugging Face, una plataforma impulsada por la comunidad que crea y aloja LLM. Los ingenieros de Prompt serán responsables de crear LLM personalizados para uso comercial.

¿Cómo se volverán los LLM más pequeños, más rápidos y más baratos?

Hoy en día, los chatbots basados ​​en LLM se usan más comúnmente "listos para usar" como una herramienta basada en texto,interfaz de chat web. Se utilizan en motores de búsqueda como Bard de Google y Bing de Microsoft (basado en ChatGPT) y para asistencia al cliente en línea automatizada. Las empresas pueden ingerir sus propios conjuntos de datos para hacer que los chatbots estén más personalizados para su negocio en particular, pero la precisión puede verse afectada debido a la gran cantidad de datos ya ingeridos.

“Lo que estamos descubriendo cada vez más es que con los modelos pequeños que entrenas con más datos por más tiempo… pueden hacer lo que solían hacer los modelos grandes”, dijo Thomas Wolf, cofundador y CSO de Hugging Face, mientras asistía.una conferencia del MITa principios de este mes. “Creo que estamos madurando básicamente en cómo entendemos lo que está pasando allí.

“Existe este primer paso en el que intentas todo para que esta primera parte de algo funcione, y luego estás en la fase en la que intentas… ser eficiente y menos costoso de ejecutar”, dijo Wolf. “No es suficiente limpiar toda la web, que es lo que todos han estado haciendo. Es mucho más importante tener datos de calidad”.

Los LLM pueden costar desde un par de millones de dólares hasta $ 10 millones para entrenar para casos de uso específicos, según su tamaño y propósito.

Sin embargo, cuando los LLM enfocan su inteligencia artificial y su poder de cómputo en conjuntos de datos más pequeños, se desempeñan tan bien o mejor que los enormes LLM que dependen de conjuntos de datos masivos y amorfos. También pueden ser más precisos a la hora de crear el contenido que buscan los usuarios, y son mucho más baratos de entrenar.

Eric Boyd, vicepresidente corporativo de AI Platforms en Microsoft, habló recientemente en la conferencia MIT EmTech y dijo que cuando su empresa comenzó a trabajar por primera vez en modelos de imágenes de IA con OpenAI hace cuatro años, el rendimiento se estabilizaría a medida que los conjuntos de datos crecieran en tamaño. Sin embargo, los modelos de lenguaje tenían mucha más capacidad para ingerir datos sin ralentizar el rendimiento.

Microsoft, el mayor patrocinador financiero de OpenAI y ChatGPT, invirtió en la infraestructura para construir LLM más grandes. “Entonces, ahora estamos descubriendo cómo obtener un rendimiento similar sin tener que tener un modelo tan grande”, dijo Boyd. “Con más datos, cómputo y tiempo de entrenamiento, aún puede encontrar más rendimiento, pero también hay muchas técnicas que estamos aprendiendo ahora sobre cómo no tenemos que hacerlos tan grandes y podemos administrar ellos de manera más eficiente.

“Eso es súper importante porque… estas cosas son muy caras. Si queremos tener una amplia adopción para ellos, tendremos que calcular los costos de capacitarlos y atenderlos”, dijo Boyd.

Por ejemplo, cuando un usuario envía un aviso a GPT-3,debe acceder a los 175 mil millones de sus parámetrospara entregar una respuesta. Un método para crear LLM más pequeños, conocido comomodelos expertos dispersos, se espera que reduzca los costos computacionales y de capacitación para los LLM, "lo que dará como resultado modelos masivos con una mayor precisión que sus contrapartes densas", dijo.

Los investigadores de Meta Platforms (anteriormente Facebook) creen que los modelos dispersos pueden lograr un rendimiento similar al de ChatGPT y otros LLM masivos utilizando "una fracción de la computación".

“Para los modelos con presupuestos de cómputo relativamente modestos, un modelo disperso puede funcionar a la par con un modelo denso que requiere casi cuatro veces más de cómputo”, dijo Meta en un comunicado.Trabajo de investigación de octubre de 2022.

Los modelos más pequeños ya están siendo lanzados por compañías comoalfa alfa,Ladrillos de datos,reparación,Luces encendidas,Estabilidad IAe incluso IA abierta. Los LLM más ágiles tienen entre unos pocos miles de millones y 100 mil millones de parámetros.

Shutterstock

Los problemas de privacidad y seguridad aún abundan

Si bien muchos usuarios se maravillan con las notables capacidades de los chatbots basados ​​en LLM, los gobiernos y los consumidores no pueden hacer la vista gorda ante los posibles problemas de privacidad que acechan, según Gabriele Kaveckyte, asesor de privacidad de la empresa de ciberseguridad.Tiburón surfero.

Por ejemplo, a principios de este año, Italia se convirtió en la primera nación occidental en prohibir un mayor desarrollo de ChatGPT por cuestiones de privacidad. Eso mas tarderevocó esa decisión, pero la prohibición inicial se produjo después de que la aplicación de procesamiento de lenguaje natural experimentara una filtración de datos relacionada con las conversaciones de los usuarios y la información de pago.

“Si bien ChatGPT ha realizado algunas mejoras luego de la prohibición temporal de Italia, todavía hay margen de mejora”, dijo Kaveckyte. “Abordar estos posibles problemas de privacidad es crucial para garantizar el uso responsable y ético de los datos, fomentar la confianza y salvaguardar la privacidad del usuario. en interacciones de IA".

Kaveckyte analizó las prácticas de recopilación de datos de ChatGPT, por ejemplo, y desarrolló una lista de fallas potenciales: recopiló una gran cantidad de datos personales para entrenar sus modelos, pero es posible que no tuviera una base legal para hacerlo; no notificó a todas las personas cuyos datos se usaron para entrenar el modelo de IA; no siempre es exacto; y carece de herramientas efectivas de verificación de edad para evitar que los niños menores de 13 años la utilicen.

Junto con esos problemas, a otros expertos les preocupa que haya problemas más básicos que los LLM aún deben superar, a saber, la seguridad de los datos recopilados y almacenados por la IA, el robo de propiedad intelectual y la confidencialidad de los datos.

Relacionado:

• Inteligencia artificial
• chatbots
• Tecnología emergente
• Industria de la tecnología

Página 1 de 2

El chatbot de IA de Bing vino a trabajar para mí. Tuve que dispararlo.