Si la aparición de la IA generativa lo ha dejado consternado, sepa que no lo ha hecho, todavía no hemos visto nada. El genio ha salido de la botella, y le será difícil volver a meterse en ella. De lo contrario. La carrera es más salvaje que nunca y hay seis proyectos compitiendo para crear modelos de IA que superen los 2 billones de parámetros. Sí, has leído bien: billones.
Los titanes de la IA con 2 billones de parámetros
Los seis proyectos principales que compiten por el hito de 2 billones métricos son OpenAI, Antrópico, Google/mente profunda, Meta, un proyecto del gobierno británico y que aún es secreto. Y es una carrera "mortal": se necesitan recursos económicos para mantenerse al día. Muchos. Entre 1 y 2 millones de dólares al año, para actualizar constantemente el hardware (cada vez más voraz de cálculos y energías), contratar a cientos de especialistas y retener a los mejores integrantes del equipo con salarios y stock options millonarios.
GPT-5: El Retorno del Rey
Después de tomar por sorpresa a medio mundo, disparó un misil a Google y cobró una gran cantidad de dinero de Microsoft, OpenAI ya tiene un posible golpe de KO en proceso. El que podría asegurar la supremacía de la empresa de Sam Altman. GPT-5 se completará a fines de 2023 y se lanzará a principios de 2024, con una cantidad de parámetros entre 2 y 5 billones.
Somos incapaces, por el momento, de imaginar sus capacidades.
Claude-Next: Anthropic y su ambicioso proyecto
Antrópico, el equipo fundado por ex empleados de OpenAI, está trabajando en un modelo llamado Claude-Siguiente, que pretende ser 10 veces más potente que las IA actuales. Con $ 1 mil millones en fondos ya recaudados y $ 5 mil millones en camino, Anthropic espera alcanzar sus objetivos en los próximos 18 meses.
Su modelo insignia requerirá 10^25 FLOP, con el uso de clústeres que consisten en decenas de miles de GPU. Google es uno de los patrocinadores de Anthropic y juega en varias mesas.
Géminis: Google busca la redención con Deepmind
Google y Deepmind están colaborando para desarrollar un competidor de GPT-4 llamado Gemini. El proyecto comenzó recientemente, después de que Bard mostrara di fallar en competir con ChatGPT. Gemini será un modelo de lenguaje grande con billones de parámetros, similar a GPT-4 o GPT-5, y utilizará decenas de miles de chips AI TPU de Google para el entrenamiento. Aún no se sabe si será multimodal.
Deepmind también ha desarrollado el chatbot basado en la web Gorrión, optimizado para la seguridad y similar a ChatGPT. Los investigadores de DeepMind han descubierto que las citas de Sparrow son útiles y precisas el 78 % de las veces. Otro top model de DeepMind es Chinchilla, entrenado en 1,4 billones de parámetros.
Los parámetros de un futuro impensable
Si quiere tener una idea de lo que significan 2 billones de parámetros, sepa que la estimación de la cantidad total de datos de texto utilizables en el mundo está entre 4,6 billones y 17,2 billones de parámetros.
Todos los libros, artículos científicos, noticias, la Wikipedia completa, el código disponible públicamente y gran parte del resto de Internet, filtrados por calidad. El conocimiento humano digital.
A medida que lleguen modelos más grandes, surgirán nuevas capacidades. Durante los próximos 6 años, habrá mejoras en el poder de cómputo y algoritmos para escalar modelos mil veces, de hecho, mucho más.
El CEO de Nvidia predijo modelos de IA un millón de veces más potentes que ChatGPT dentro de 10 años.
¿Te imaginas lo que harán estas inteligencias artificiales con nosotros, lo que le harán al planeta? Piénsalo rápidamente. Estamos aquí ahora.
