OpenAI disuelve, supuestamente, su equipo de riesgo existencial de IA.
Según Wired el viernes, el equipo Superalignment de OpenAI, encargado de controlar el peligro existencial de un sistema de IA sobrehumano, ha sido disuelto. La noticia llega pocos días después de que los fundadores del equipo, Ilya Sutskever y Jan Leike, renunciaran simultáneamente a la empresa.
Wired informa que el equipo Superalignment de OpenAI, lanzado por primera vez en julio de 2023 para evitar que los sistemas de IA sobrehumanos del futuro se vuelvan deshonestos, ya no existe. El informe afirma que el trabajo del grupo será absorbido por otros esfuerzos de investigación de OpenAI. Según Wired, la investigación sobre los riesgos asociados con modelos de IA más potentes ahora estará dirigida por el cofundador de OpenAI, John Schulman. Sutskever y Leike fueron algunos de los principales científicos de OpenAI centrados en los riesgos de la IA.
Leike publicó un hilo largo el X explicando vagamente por qué dejó OpenAI. Dice que ha estado peleando con el liderazgo de OpenAI sobre los valores fundamentales durante algún tiempo, pero llegó a un punto de ruptura esta semana. Leike señaló que el equipo de Superaligment ha estado “navegando contra el viento”, luchando por obtener suficiente computación para una investigación crucial. Él cree que OpenAI debe centrarse más en la seguridad y la alineación.
El equipo de prensa de OpenAI nos dirigió al tweet de Sam Altman cuando se le preguntó si el equipo de Superalignment se había disuelto. Altman dice que tendrá una publicación más larga en los próximos días y que OpenAI tiene “mucho más por hacer”.
Equipo de riesgo existencial
Más tarde, un portavoz de OpenAI aclaró que “la superalineación ahora estará más profundamente arraigada en la investigación, lo que nos ayudará a lograr mejor nuestros objetivos de superalineación”. La compañía dice que esta integración comenzó “hace semanas” y, en última instancia, trasladará a los miembros del equipo y los proyectos de Superalignment a otros equipos.
Así lo aclaraba el equipo de Superalignment en una publicación del blog de OpenAI cuando se lanzó en julio.
Actualmente, no tenemos una solución para dirigir o controlar una IA potencialmente superinteligente y evitar que se vuelva deshonesta. Pero los humanos no podrán supervisar de manera confiable sistemas de inteligencia artificial mucho más inteligentes que nosotros, por lo que nuestras técnicas de alineación actuales no alcanzarán la superinteligencia. Necesitamos nuevos avances científicos y técnicos.
Ahora no está claro si se prestará la misma atención a esos avances técnicos. Sin duda, hay otros equipos en OpenAI centrados en la seguridad. El equipo de Schulman, que supuestamente está asumiendo las responsabilidades de Superalignment, es actualmente responsable de ajustar los modelos de IA después del entrenamiento. Sin embargo, Superalignment se centró específicamente en los resultados más graves de una IA deshonesta. Como señaló ayer Gizmodo, varios de los defensores más abiertos de la seguridad de la IA de OpenAI han dimitido o han sido despedidos en los últimos meses.
Más detalles
A principios de este año, el grupo publicó un notable artículo de investigación sobre el control de grandes modelos de IA con modelos de IA más pequeños, considerado un primer paso hacia el control de sistemas de IA superinteligentes. No está claro quién dará los siguientes pasos en estos proyectos en OpenAI.
La startup de inteligencia artificial de Sam Altman comenzó esta semana con la presentación de GPT-4 Omni, el último modelo de vanguardia de la compañía que presentaba respuestas de latencia ultrabaja que sonaban más humanas que nunca. Muchos empleados de la compañía comentaron cómo su último modelo de IA estaba más cerca que nunca de algo de ciencia ficción, específicamente la película Her.