Desempolvo este tuit de abril porque esta brecha en la comprensión compartida de la capacidad de los LLM se está *ensanchando*. Ahora es menos "dos grupos de personas hablando sin entenderse" y más un embudo pronunciado.
- Cálculos aproximados: alrededor de 6B de personas (~75% de la población) apenas han tenido contacto con los LLM.
- Alrededor de 1-2B (~20%) son usuarios ocasionales e infrecuentes de productos gratuitos tipo ChatGPT. Este grupo ve chatbots torpes y los trata un poco como un mejor buscador de Google, una ayuda para escribir, etc. Quizás un agente intenta reservarte un vuelo. Tengo amigos no tecnológicos que (razonablemente, en mi opinión) dicen que no tienen mucho uso para esto. Incluso muchos profesionales fuera de matemáticas y código están en este nivel. Por ejemplo, los ejecutivos y muchas otras funciones pasan mucho de su tiempo hablando con otras personas, así que aunque entienden intelectualmente lo que está sucediendo, sigue siendo de segunda mano y algo abstracto.
- Ahora llegamos al uso profesional de LLMs de nivel frontera en matemáticas y código. Alrededor de 20M de personas (0.2%) ven de primera mano que proyectos grandes y complejos que antes les llevaban semanas/meses ahora pueden ser completados por agentes con un prompt. Construir aplicaciones, copiar aplicaciones, traducir aplicaciones, descompilar aplicaciones desde binarios... Todo esto ha ocurrido muy rápido y recientemente: hace menos de 1 año, yo escribía código manualmente a mano, tecleando comandos de código memorizados en un editor de código carácter por carácter, ocasionalmente presionando Tab para autocompletar un pequeño fragmento de código.
- Y finalmente llegamos a las ~5,000 personas (~0.00006%) con acceso a sistemas de nivel frontera internamente. El mundo externo ha visto la vista previa. Parece enjambres de miles de agentes colaborando durante semanas en megaproyectos de software: acuñando zero days, ejecutando ataques cibernéticos y defensas a velocidades de máquina, descubriendo nueva ciencia, avanzando la frontera de las matemáticas. Cosas que habrían tomado años de trabajo a los mejores profesionales de la industria. Mientras tanto, la revisión y comprensión humanas están comenzando a quedarse atrás. Por ejemplo, las personas siguen involucradas en la "arqueología" del incidente de OpenAI-HF de hace muchos meses. Los matemáticos pueden estar estudiando los 722 manuscritos sobre matemáticas de frontera por un tiempo.
El embudo está impulsado por una combinación de factores:
1. El impacto escala con la ambición, el tamaño del problema y el horizonte. Una pregunta con una respuesta de un párrafo apenas estresa el sistema. Necesitas un reservorio de problemas grandes y difíciles que realmente te importen. Este aspecto impulsa la dimensión consumidor/profesional del embudo.
2. La irregularidad del sistema (de lo que he escrito mucho por separado). La capacidad alcanza picos en dominios que son digitales, verificables y económicamente valiosos. Esto se debe a que la capacidad de los LLM emerge del aprendizaje por refuerzo sobre recompensas verificables en una mezcla de entornos curada impulsada por el potencial de ingresos. Este aspecto impulsa principalmente la dimensión de área (por ejemplo, matemáticas y código) del embudo.
3. Acceso. Nivel gratuito, nivel de pago, interno.
Así que esta es la rareza del momento. El público en general mayormente no ha interactuado con estos sistemas. Cuando lo han hecho, parece un chatbot torpe. La mayoría de los profesionales todavía ve solo una mejora modesta. Y una pequeña fracción de profesionales está experimentando el vértigo de la curva volviéndose vertical. Y todo esto está sucediendo al mismo tiempo.