OpenAI lanza una nueva división de alineación para abordar los riesgos de la IA superinteligente y evitar que se vuelva deshonesta.
OpenAI abrirá una nueva división de investigación de alineamiento, enfocada en desarrollar técnicas de entrenamiento para evitar que la IA superinteligente (inteligencia artificial que podría superar a los humanos y desalinearse con la ética humana) cause daños graves.
Así lo comunicaban en el blog de la compañía Jan Leike e Ilya Sutskever. Además, agregaron que aunque la superinteligencia pueda parecer lejana, algunos expertos creen que podría llegar en esta década.
Actualmente, no tenemos una solución para dirigir o controlar una IA potencialmente superinteligente y evitar que se vuelva deshonesta.
Predicciones distópicas
Las técnicas actuales para alinear la IA se basan en el aprendizaje reforzado a partir de la retroalimentación humana. Sin embargo, Leike y Sutskever dijeron que a medida que los sistemas de IA se vuelvan más inteligentes que los humanos, ya no se podrá confiar en los humanos para supervisar la tecnología.
Las técnicas de alineación actuales no escalarán a la superinteligencia. Necesitamos nuevos avances científicos y técnicos.
Sutskever es cofundador y científico jefe de OpenAI, y Leike es investigadora de aprendizaje automático. Co-dirigirán el nuevo equipo de superalineación de OpenAI.
El plan de OpenAI
Para llevar a cabo su misión durante los próximos cuatro años, la división tendrá acceso al 20 % de la capacidad de procesamiento de la empresa. El plan es construir un “investigador de alineación automatizado a nivel humano” que pueda ampliarse para supervisar la superinteligencia.
Para alinear al investigador automatizado con la ética humana, Leike y Sutskever dijeron que será necesario adoptar un enfoque de tres pasos: desarrollar un método de capacitación escalable, validar el modelo resultante, y prueba de esfuerzo toda la tubería de alineación.
“Esperamos que nuestras prioridades de investigación evolucionen sustancialmente a medida que aprendamos más sobre el problema y probablemente agregaremos áreas de investigación completamente nuevas”, escribieron.
OpenAI reconoce la necesidad de mitigar el daño potencial de la IA
Esta no es la primera vez que OpenAI reconoce públicamente la necesidad de mitigar los riesgos que plantea la IA no regulada. En mayo, el director ejecutivo de la empresa, Sam Altman, firmó una carta abierta en la que afirmaba que el control de la tecnología debería ser una prioridad mundial, ya que la evolución de la IA podría conducir a un evento de extinción.
Mitigar el riesgo de extinción de la IA debería ser una prioridad global junto con otros riesgos a escala social como las pandemias y la guerra nuclear.
OpenAI también tiene una sección dedicada en su sitio web, donde el público puede acceder a materiales relacionados con lo que la compañía llama el desarrollo de “IA segura y responsable”. Además, también incluye una carta que describe los principios a los que se adhiere para ejecutar su misión.
Sin embargo, estos se relacionan en gran medida con el concepto de inteligencia general artificial (AGI): sistemas altamente autónomos que superan a los humanos en el trabajo económicamente más valioso.
“Intentaremos construir directamente una AGI segura y beneficiosa, pero también consideraremos cumplida nuestra misión si nuestro trabajo ayuda a otros a lograr este resultado”, dice la carta, que se publicó en 2018.