OpenAI está formando un nuevo equipo dirigido por Ilya Sutskever, su científico jefe y uno de los cofundadores de la empresa, para desarrollar formas de comandar y controlar sistemas de IA “superinteligentes”.

En una publicación de blog publicada hoy, Sutskever y Jan Leike, líder del equipo de alineación de OpenAI, predicen que la IA con una inteligencia mayor que la de los humanos podría llegar dentro de una década. Esta IA, suponiendo que de hecho llegue eventualmente, no será necesariamente benévola, por lo que será necesario investigar formas de controlarla y restringirla, dicen Sutskever y Leike.

“Actualmente, no tenemos una solución para dirigir o controlar una IA potencialmente superinteligente y evitar que se vuelva deshonesta”, escriben. “Nuestras técnicas actuales para alinear la IA, como el aprendizaje reforzado a partir de la retroalimentación humana, se basan en la capacidad de los humanos para supervisar la IA. Pero los humanos no podrán monitorear de manera confiable los sistemas de inteligencia artificial mucho más inteligentes que nosotros”.

Para avanzar en el área de “alineación de súper inteligencia”, OpenAI está creando un nuevo equipo de Super Alignment, liderado por Sutskever y Leike, que tendrá acceso al 20 % de la computación que la compañía ha logrado hasta la fecha. Junto con científicos e ingenieros de la antigua división de alineación de OpenAI, así como investigadores de otras organizaciones dentro de la empresa, el equipo intentará resolver los principales desafíos técnicos del control de IA superinteligente durante los próximos cuatro años.

¿Como? Construyendo lo que Sutskever y Leike describen como un “buscador de alineación automatizado a nivel humano”. El objetivo de alto nivel es capacitar a los sistemas de IA utilizando comentarios humanos, capacitar a la IA para ayudar a evaluar otros sistemas de IA y, en última instancia, construir una IA que pueda realizar investigaciones de alineación. (Aquí, “investigación de alineación” se refiere a garantizar que los sistemas de IA logren los resultados deseados o no se descarrilen).

La hipótesis de OpenAI es que la IA puede hacer que la investigación de alineación progrese más rápido y mejor que los humanos.

“A medida que avanzamos en esto, nuestros sistemas de IA pueden asumir cada vez más nuestro trabajo de alineación y, en última instancia, concebir, implementar, estudiar y desarrollar mejores técnicas de alineación que las que tenemos ahora”, explican Leike y sus colegas John Schulman y Jeffrey Wu en un blog anterior. correo. “Trabajarán junto a los humanos para garantizar que sus propios sucesores estén más alineados con los humanos. Los investigadores humanos centrarán cada vez más sus esfuerzos en revisar la investigación de alineación realizada por los sistemas de IA en lugar de generar esta investigación ellos mismos”.

Por supuesto, ningún método es infalible y Leike, Schulman y Wu reconocen las muchas limitaciones de OpenAI en su publicación. El uso de IA para la evaluación tiene el potencial de aumentar las inconsistencias, sesgos o vulnerabilidades en esa IA. Y podría resultar que las partes más difíciles del problema de alineación no estén relacionadas con la ingeniería.

Pero Sutskever y Leike creen que vale la pena intentarlo.

“La alineación de superinteligencia es fundamentalmente un problema de aprendizaje automático y creemos que los grandes expertos en aprendizaje automático, incluso si aún no están trabajando en la alineación, serán fundamentales para resolverlo”, escriben. “Planeamos compartir ampliamente los frutos de este esfuerzo y consideramos que contribuir a la alineación y la seguridad de los modelos que no son OpenAI es una parte importante de nuestro trabajo”.