Recientemente vi a un político prominente defender su postura con una captura de pantalla de su chat con la IA, presentando la respuesta del chat como evidencia contundente a su favor.
Aunque a menor escala, he visto esto ocurrir decenas de veces: personas en todo contexto dicen “le voy a preguntar a la IA” y toman la respuesta como algo definitivo, como una máquina que, de alguna manera, contiene la verdad absoluta de la humanidad. Quienes saben más (aunque no mucho) del tema, dicen que las IA “tienen en sus bases de datos todo el conocimiento humano”, y, por ello, dicen la verdad.
Esto representa un malentendido fundamental sobre cómo funcionan estos sistemas (cuyo nombre específico es LLM – Large Language Model, un subtipo de Inteligencia Artificial). No son una lámpara mágica, ni un robot superinteligente, ni una enciclopedia gigante con toda la información recopilada que le permita saber todo. De hecho, ni siquiera saben qué es un gato.
Imaginen que los encierran en una biblioteca gigante, con todos los libros de la humanidad escritos en Mandarín. Tienen todo el tiempo del mundo y muchísima memoria, pero no tienen la menor idea del idioma. Después de algunos años leyendo y leyendo, empezarían a encontrar patrones; encontrarían que el símbolo para “gato” frecuentemente aparece cerca del símbolo para “mascota” , y que ambos aparecen cerca del símbolo para “hogar” o para “estadio”, dependiendo del contexto. No saben qué significa ninguno de esos símbolos, no podrían traducirlos al Español, no podrían describirlos, pero sabrían que están cerca unos de otros. Con el paso del tiempo, podrían hasta formar “oraciones” completas, pues les enseñarían el símbolo para “gato” y podrían responder con el símbolo de “animal”, aunque no sepan qué significa ninguna de esas cosas. Algo así funcionan los LLM.
La creación de un LLM tiene, en líneas generales, dos fases: preentrenamiento y postentrenamiento.
En el preentrenamiento, se compilan millones de textos y se ingresan a un programa que se llama “tokenizador”: este programa convierte (aproximadamente) cada palabra en un token único: (gato = 1234, animal = 2345, etc…).
Una vez se han convertido todos los textos en tokens, se pasan por un programa llamado “transformador”, y aquí es donde se asemeja al ejemplo que mencionaba: el LLM hace billones de operaciones matemáticas extremadamente complejas para detectar patrones (codificados en números que se llaman “pesas”), y razona algo así: “el token gato aparece cerca del token hogar. Entonces, si los tokens hasta ahora han sido “el gato está en el ___”, el siguiente token más probable es uno de estos: salón (20%) / estadio (5%) / hogar (1%)”.
Luego, revisa la respuesta correcta y ajusta las pesas para que, la siguiente vez que haga las calculaciones, los porcentajes probabilísticos sean más cercanos a lo correcto (entonces, en la nueva operación, “salón” ya no va a dar 20%, pero “hogar” si lo hará). Al inicio, las predicciones son pésimas, pero con cada paso, van mejorando, hasta tener una máquina que detecta patrones y hace predicciones extremadamente atinadas.
Después viene el “postentrenamiento”, donde las empresas ajustan otra vez las pesas, para asegurarse que las respuestas sean útiles, amigables, reflejen los intereses y valores de la empresa, etc… Lo hacen con diversos procesos como el “afinamiento” (fine tuning) o el aprendizaje reforzado por retroalimentación humana (RLHF), que varían en los actores pero el proceso es prácticamente el mismo: se le da alguna señal al LLM sobre cómo debe responder, y este reajusta sus pesas para que la próxima vez sea más probable que responda de forma “correcta”.
Eso es todo. Son números y operaciones matemáticas.
Si bien esto es una explicación muy a grandes rasgos, y un tema que no sea de interés de mucha gente, creo que es importante que todos tengamos un conocimiento, aunque sea general, de cómo funcionan estos modelos, pues sólo así podemos entender sus limitaciones.
Por la forma en que nos los venden, y la forma en que los LLM nos hablan, es difícil pensar que no “entienden” de lo que están hablando; pero esa es la realidad, ni siquiera saben cómo va a terminar la oración al momento de empezarla.
Con toda la información que pueden brindar, es difícil pensar que no son una fuente absoluta de la verdad; pero no lo son. Entre datos faltantes, respuestas probables pero incorrectas, y los sesgos de la empresa incorporados durante el postentrenamiento, no son ni 100% objetivos ni 100% verídicos.
No me malinterpreten. Estas son máquinas extraordinarias, y hay muchísima información que se puede obtener al detectar patrones en el lenguaje. Pero, al final de cuentas, siguen siendo sólo operaciones matemáticas, no vestigios de una verdad absoluta con los que nos bendice un ente superior. Hay que ser juiciosos a la hora de usar y hablar de estas herramientas; al final, ni siquiera saben qué es un gato.
