Pocos parámetros, muchos datos

PaLM 2, el último modelo de lenguaje grande (LLM) de Google anunciado la semana pasada, utiliza casi cinco veces la cantidad de datos de entrenamiento que su predecesor de 2022, lo que le permite realizar programación, matemáticas y creación de contenido más avanzados.

En la Conferencia de Desarrolladores Google I/O, el gigante de las búsquedas presentó PaLM 2, un modelo de lenguaje entrenado con 3,6 billones de tokens. Estos tokens son secuencias de palabras, los componentes básicos que se utilizan para entrenar a LLM a predecir la siguiente palabra.

La versión anterior de PaLM se lanzó en 2022 y se acuñó con 780 mil millones de tokens.

Si bien Google ha estado promocionando su capacidad de IA en búsquedas, correo electrónico, procesamiento de textos y hojas de cálculo, la compañía se ha mostrado reticente a revelar el tamaño o los detalles de sus conjuntos de datos de entrenamiento. OpenAI también mantiene en secreto los detalles de su último algoritmo de entrenamiento LLM, GPT-4.

Las empresas tecnológicas atribuyen este motivo a la naturaleza competitiva de sus negocios. Tanto Google como OpenAI compiten por atraer usuarios con chatbots en lugar de los motores de búsqueda tradicionales.

Compacto, potente y rentable.

Google afirma que PaLM 2 es más pequeño que sus predecesores, ya que se entrena con 340 mil millones de parámetros, en comparación con los 540 mil millones de la versión anterior. Esto demuestra que la tecnología de la compañía es cada vez más eficiente al realizar tareas complejas.

Para lograrlo, PaLM 2 utiliza una nueva técnica llamada “optimización computacional extendida”, que ofrece “un mejor rendimiento general, incluida una inferencia más rápida con menos parámetros que reducen la sobrecarga”.

El último modelo de IA lingüística de Google, entrenado en más de 100 idiomas, realiza diversas tareas para 25 funciones y productos, incluido el chatbot experimental Bard. PaLM 2 está disponible en cuatro versiones según su tamaño, de menor a mayor: Gecko, Otter, Bison y Unicorn.

Según documentación pública, PaLM 2 es más potente que cualquier modelo existente. LlaMA de Facebook, lanzado en febrero, se entrenó con 1,4 billones de tokens. Mientras tanto, OpenAI divulgó por última vez públicamente el tamaño de los datos de entrenamiento de ChatGPT, una versión de GPT-3, con 300 000 millones de tokens.

La proliferación de aplicaciones de IA ha generado controversia en torno a esta tecnología. A principios de este año, El Mahdi El Mhamdi, científico sénior de Google Research, dimitió en protesta por la falta de transparencia del gigante de las búsquedas.

Esta semana, el CEO de OpenAI, Sam Altman, también testificó ante el subcomité judicial del Senado de EE. UU. sobre privacidad y tecnología en el contexto de la creciente difusión de la IA, donde el "padre" de ChatGPT estuvo de acuerdo con los legisladores en que se necesitan nuevas regulaciones para gobernar la IA.

(Según CNBC)