Texto completo del Diálogo de China de Sam Altman: Debemos estar alerta a los riesgos de la IA, pero es mucho más fácil entender las redes neuronales que entender lo que la gente está pensando

Autor｜Neil Shen

Fuente丨Pinwan

El discurso de Sam Altman tuvo lugar en el subforo de Alineación y Seguridad de IA de la Conferencia de Zhiyuan el 10 de junio. El escenario estaba lleno de asientos, cuando el CEO de OpenAI apareció en la pantalla, hubo aplausos y casi todos levantaron sus teléfonos móviles para tomar fotografías en la pantalla.

Pero el propio Altman parece tranquilo, incluso cauteloso. Esta es la primera vez desde que ChatGPT provocó el auge global de la IA el año pasado que Sam Altman ha expresado públicamente sus opiniones sobre un fondo chino.

De hecho, tampoco estaba lejos de China ese día, acababa de llegar a Seúl y se reunió con el presidente de Corea del Sur. Después de su discurso, también tuvo una sesión de preguntas y respuestas uno a uno con Zhang Hongjiang, presidente del Instituto de Investigación Zhiyuan. Los siguientes son los puntos y hechos clave.

Puntos clave:

A medida que nos acercamos más y más a AGI en tecnología, los efectos y peligros de la desalineación aumentarán exponencialmente.

OpenAI actualmente utiliza tecnología de retroalimentación humana de aprendizaje por refuerzo para garantizar que los sistemas de IA sean útiles y seguros, y también está explorando nuevas tecnologías.Una de las ideas es usar sistemas de IA para ayudar a los humanos a supervisar otros sistemas de IA.

Los humanos tendrán poderosos sistemas de inteligencia artificial (IA) dentro de diez años.

OpenAI no tiene una nueva línea de tiempo de código abierto relevante, y aunque reconoce que el modelo de código abierto tiene ventajas en lo que respecta a la seguridad de la IA, abrir todo puede no ser la mejor ruta.

Es mucho más fácil entender una red neuronal que un cerebro humano.

China tiene los mejores talentos de inteligencia artificial y la seguridad de la IA requiere la participación y contribución de los investigadores chinos.

La siguiente es la transcripción del discurso:

Hoy, quiero hablar sobre el futuro. Específicamente, la tasa de crecimiento que estamos viendo en las capacidades de IA. ¿Qué debemos hacer ahora para preparar al mundo responsablemente para su introducción? La historia de la ciencia nos ha enseñado que el progreso tecnológico sigue una curva exponencial. Ya podemos ver esto en la historia, desde la agricultura y la industria hasta la revolución informática. Lo asombroso de la inteligencia artificial no es solo su impacto, sino también la velocidad de su progreso. Empuja los límites de la imaginación humana, y lo hace a un ritmo rápido.

Imagine que dentro de la próxima década, los sistemas comúnmente conocidos como inteligencia general artificial (AGI) superan la experiencia humana en casi todos los dominios. Estos sistemas podrían eventualmente superar la productividad colectiva de nuestras empresas más grandes. Hay un gran potencial alcista al acecho aquí. La revolución de la IA creará riqueza compartida y hará posible mejorar el nivel de vida de todos, abordar desafíos comunes como el cambio climático y la seguridad sanitaria mundial, y mejorar el bienestar social de innumerables otras formas.

Creo firmemente en este futuro, y para realizarlo y disfrutarlo, debemos invertir colectivamente en la seguridad de AGI y gestionar el riesgo. Si no tenemos cuidado, un sistema AGI que no sea adecuado para su propósito podría socavar todo el sistema de salud al hacer recomendaciones infundadas. Asimismo, un sistema AGI diseñado para optimizar las prácticas agrícolas puede agotar inadvertidamente los recursos naturales o dañar los ecosistemas, afectando la producción de alimentos y el equilibrio ambiental debido a la falta de consideración de la sostenibilidad a largo plazo.

Espero que todos estemos de acuerdo en que promover la seguridad de AGI es una de nuestras áreas más importantes. Quiero centrar el resto de mi charla en dónde creo que podemos empezar.

Un área es la gobernanza de AGI, una tecnología con implicaciones globales. El costo de los accidentes por desarrollo y despliegue imprudentes nos afectará a todos.

En este sentido, hay dos elementos clave:

Primero, necesitamos establecer normas y estándares internacionales y, a través de un proceso inclusivo, desarrollar protecciones iguales y uniformes para el uso de AGI en todos los países. Dentro de estas protecciones, creemos que las personas tienen amplias oportunidades para tomar sus propias decisiones.

En segundo lugar, necesitamos la cooperación internacional para generar confianza mundial en el desarrollo seguro de sistemas de IA cada vez más potentes, de manera verificable. Esta no es una tarea fácil. Necesitamos una atención sostenida y crítica como comunidad internacional para hacerlo bien. El Tao Te King nos recuerda que un viaje de mil millas comienza con un solo paso. Creemos que el primer paso más constructivo a tomar aquí es trabajar con la comunidad tecnológica internacional.

En particular, debemos promover mecanismos para una mayor transparencia y el intercambio de conocimientos sobre los avances tecnológicos en la seguridad de AGI. Los investigadores que descubren problemas de seguridad emergentes deben compartir sus conocimientos por el bien común. Necesitamos pensar detenidamente sobre cómo podemos fomentar tales normas respetando y protegiendo los derechos de propiedad intelectual.

Si hacemos esto bien, nos abrirá nuevas puertas para profundizar nuestra cooperación. En términos más generales, debemos invertir, facilitar y dirigir la inversión en investigación de objetivos y seguridad.

En OpenAI, nuestra investigación específica de hoy se centra en preguntas técnicas sobre cómo hacer que los sistemas de IA actúen como asistentes útiles y seguros en nuestros sistemas actuales. Esto podría significar, ¿cómo entrenamos ChatGPT para que no haga amenazas de violencia o ayude a los usuarios en actividades dañinas?

Pero a medida que nos acercamos a AGI, el impacto potencial y la magnitud de cualquier incumplimiento crecerán exponencialmente. Para abordar estos desafíos con anticipación, nos esforzamos por minimizar el riesgo de resultados catastróficos en el futuro. Para el sistema actual, utilizamos principalmente el aprendizaje por refuerzo a partir de la retroalimentación humana para entrenar nuestro modelo para que actúe como un asistente útil y seguro.

Este es un ejemplo de una técnica de objetivo posterior al entrenamiento, y también estamos ocupados desarrollando otras nuevas. Se necesita mucho trabajo de ingeniería para hacer esto bien. Nos tomó 8 meses hacer esto desde el momento en que GPT-4 terminó el entrenamiento previo hasta su implementación. En general, creemos que estamos en el camino correcto aquí. GPT-4 se ajusta al objetivo mejor que cualquiera de nuestros modelos anteriores.

Sin embargo, la focalización sigue siendo un problema abierto para los sistemas más avanzados, que creemos que requerirán nuevos enfoques técnicos, así como una mayor gobernanza y supervisión. Imagine un sistema AGI futurista con 100.000 líneas de código binario. Es poco probable que los supervisores humanos detecten si dicho modelo está haciendo algo nefasto.

Por lo tanto, estamos invirtiendo en algunas direcciones de investigación nuevas y complementarias que esperamos conduzcan a avances. Uno es la supervisión escalable. Podemos intentar usar sistemas de IA para ayudar a los humanos a supervisar otros sistemas de IA. Por ejemplo, podemos entrenar un modelo para ayudar a los supervisores humanos a detectar fallas en la salida de otros modelos. El segundo es la interpretabilidad. Queríamos tratar de comprender mejor lo que sucede dentro de estos modelos.

Recientemente publicamos un artículo que usa GPT-4 para interpretar las neuronas en GPT-2. En otro artículo, usamos elementos internos del modelo para detectar cuándo el modelo está mintiendo. Si bien todavía tenemos un largo camino por recorrer, creemos que las técnicas avanzadas de aprendizaje automático pueden mejorar aún más nuestra capacidad para generar explicaciones.

En última instancia, nuestro objetivo es entrenar sistemas de IA para ayudar a orientar la investigación en sí. Un aspecto prometedor de este enfoque es que escala con el ritmo del desarrollo de la IA. A medida que los modelos futuros se vuelvan cada vez más inteligentes y útiles como asistentes, encontraremos mejores técnicas que se den cuenta de los extraordinarios beneficios de AGI mientras mitigan los riesgos, uno de los desafíos más importantes de nuestro tiempo.

La siguiente es la transcripción de la conversación:

Zhang Hongjiang: ¿Qué tan lejos estamos de la inteligencia artificial? ¿El riesgo es urgente o estamos lejos de él? Ya sea una IA segura o una IA potencialmente insegura.

Sam Altman: Este problema es difícil de predecir precisamente porque requiere nuevas ideas de investigación que no siempre se desarrollan de acuerdo con el programa prescrito. Podría suceder rápidamente, o podría tomar más tiempo. Creo que es difícil de predecir con cierto grado de certeza. Pero sí creo que dentro de la próxima década, podemos tener sistemas de IA muy poderosos. En un mundo así, creo que es importante y urgente resolver este problema, por lo que llamo a la comunidad internacional a trabajar juntos para resolver este problema. La historia nos da algunos ejemplos de nuevas tecnologías que cambian el mundo más rápido de lo que muchos imaginan. El impacto y la aceleración de estos sistemas que estamos viendo ahora no tienen precedentes en cierto sentido. Entonces creo que tiene mucho sentido estar preparado para que suceda lo antes posible y abordar los aspectos de seguridad, dado su impacto e importancia.

Zhang Hongjiang: ¿Sientes una sensación de urgencia?

Sam Altman: Sí, lo siento. Quiero enfatizar que realmente no lo sabemos. Y la definición de inteligencia artificial es diferente, pero creo que en diez años deberíamos estar preparados para un mundo con sistemas muy potentes.

Zhang Hongjiang: También mencionó varias cooperaciones globales en su discurso hace un momento. Sabemos que el mundo ha enfrentado muchas crisis en las últimas seis o siete décadas. Pero para muchas de estas crisis, logramos generar consenso y cooperación global. Tú también estás en una gira mundial. ¿Qué tipo de colaboración global están promoviendo? ¿Cómo te sientes acerca de los comentarios que has recibido hasta ahora?

Sam Altman: Sí, estoy muy contento con los comentarios que he recibido hasta ahora. Creo que la gente se está tomando muy en serio los riesgos y las oportunidades que presenta la IA. Creo que la discusión sobre esto ha avanzado mucho en los últimos seis meses. La gente realmente está trabajando para encontrar un marco en el que podamos disfrutar de estos beneficios mientras trabajamos juntos para mitigar los riesgos. Creo que estamos en una muy buena posición para hacerlo. La cooperación global siempre es difícil, pero la veo como una oportunidad y una amenaza que puede unir al mundo. Sería muy útil si pudiéramos desarrollar algunos marcos y estándares de seguridad para guiar el desarrollo de estos sistemas.

Zhang Hongjiang: Sobre este tema en particular, mencionó que la alineación de los sistemas avanzados de inteligencia artificial es un problema sin resolver. También he notado que Open AI se ha esforzado mucho en los últimos años. También mencionó a GPT-4 como el mejor ejemplo en términos de alineación. ¿Crees que podemos resolver los problemas de seguridad de la IA a través de la alineación? ¿O es este problema más grande que la alineación?

Sam Altman: Creo que hay diferentes usos de la palabra alineación. Creo que lo que debemos abordar es todo el desafío de cómo lograr sistemas de IA seguros. Tradicionalmente, la alineación ha consistido en hacer que el modelo se comporte como el usuario pretende, y eso es sin duda parte de ello. Pero hay otras preguntas que debemos responder, como cómo verificamos que los sistemas hagan lo que queremos que hagan y con qué valores alineamos los sistemas. Pero creo que es importante ver la imagen completa de lo que se necesita para lograr una IA segura.

Zhang Hongjiang: Sí, la alineación sigue siendo el caso. Si observamos lo que ha hecho GPT-4, en su mayor parte, sigue siendo desde un punto de vista técnico. Pero hay muchos otros factores además de la tecnología. Este es un tema muy complejo. A menudo, los problemas complejos son sistémicos. La seguridad de la IA puede no ser una excepción. Además de los aspectos técnicos, ¿qué otros factores y problemas cree que son críticos para la seguridad de la IA? ¿Cómo debemos responder a estos desafíos? Especialmente dado que la mayoría de nosotros somos científicos, ¿qué se supone que debemos hacer?

Sam Altman: Esta es, por supuesto, una pregunta muy compleja. Diría que sin una solución técnica, todo lo demás es difícil. Creo que es muy importante poner mucho énfasis en asegurarnos de que abordemos los aspectos técnicos de la seguridad. Como mencioné, no es un problema técnico averiguar con qué valores queremos alinear el sistema. Necesita aportes técnicos, pero es un tema que requiere una discusión profunda por parte de toda la sociedad. Debemos diseñar sistemas que sean justos, representativos e inclusivos. Y, como usted señaló, tenemos que considerar no solo la seguridad del modelo de IA en sí, sino la seguridad de todo el sistema. Por lo tanto, también es importante crear clasificadores y detectores de seguridad que puedan ejecutarse sobre el modelo y puedan monitorear el cumplimiento de las políticas de uso. Y luego, también creo que es difícil predecir de antemano qué va a salir mal con cualquier tecnología. Por lo tanto, aprenda del mundo real e implemente iterativamente, vea qué sucede cuando pone el modelo en el mundo real, y mejórelo, y dé tiempo a las personas y a la sociedad para aprender y actualizarse, y piense en cómo se usarán estos modelos para bien y afectar sus vidas de mala manera. Esto también es muy importante.

Zhang Hongjiang: Acabas de mencionar la cooperación global. Ha visitado muchos países y ha mencionado China. Pero, ¿puede compartir algunos de los resultados que ha logrado en términos de colaboración? ¿Qué planes o ideas tiene para los próximos pasos? ¿De esta gira mundial, de sus interacciones con varios gobiernos, instituciones, instituciones?

Sam Altman: Creo que generalmente se requieren muchas perspectivas diferentes y seguridad de IA. Todavía no tenemos todas las respuestas, y esta es una pregunta bastante difícil e importante.

Además, como se mencionó, no es una cuestión puramente técnica hacer que la IA sea segura y beneficiosa. Implica comprender las preferencias de los usuarios en diferentes países en contextos muy diferentes. Necesitamos muchos aportes diferentes para que esto suceda. China tiene algunos de los mejores talentos de IA del mundo. Fundamentalmente, creo que se necesitan las mejores mentes de todo el mundo para abordar la dificultad de alinear sistemas avanzados de IA. Así que realmente espero que los investigadores chinos de IA puedan hacer grandes contribuciones aquí.

Zhang Hongjiang: Entiendo que el foro de hoy trata sobre la seguridad de la IA, porque la gente siente mucha curiosidad por OpenAI, así que tengo muchas preguntas sobre OpenAI, no solo sobre la seguridad de la IA. Tengo una pregunta de la audiencia aquí, ¿hay algún plan para que OpenAI vuelva a abrir sus modelos como lo hacía antes de la versión 3.0? También creo que el código abierto es bueno para la seguridad de la IA.

Sam Altman: Algunos de nuestros modelos son de código abierto y otros no, pero a medida que pasa el tiempo, creo que debe esperar que sigamos abriendo más modelos de código en el futuro. No tengo un modelo específico o una línea de tiempo, pero es algo que estamos discutiendo en este momento.

Zhang Hongjiang: Ponemos todos nuestros esfuerzos en el código abierto, incluido el modelo en sí, los algoritmos para desarrollar el modelo y las herramientas para optimizar la relación entre el modelo y los datos. Creemos en la necesidad de compartir y hacer que los usuarios se sientan dueños de lo que usan. ¿Tiene comentarios similares? ¿O es esto lo que están discutiendo en OpenAI?

Sam Altman: Sí, creo que el código abierto tiene un papel importante en cierto modo. También han surgido muchos modelos nuevos de código abierto recientemente. Creo que el modelo API también tiene un papel importante. Nos proporciona controles de seguridad adicionales. Puede bloquear ciertos usos. Puede bloquear ciertos tipos de ajustes. Si algo no funciona, puede recuperarlo. A la escala del modelo actual, no estoy demasiado preocupado por eso. Pero a medida que el modelo se vuelve tan poderoso como esperamos que sea, si tenemos razón, creo que el código abierto en todo podría no ser el mejor camino, aunque a veces es correcto. Creo que solo tenemos que equilibrarlo con cuidado.

Zhang Hongjiang: La pregunta de seguimiento sobre GPT-4 y la seguridad de IA es, ¿necesitamos cambiar toda la infraestructura o la arquitectura de todo el modelo AGI para que sea más seguro y fácil de verificar? ¿Cuáles son sus pensamientos sobre esto?

Sam Altman: Definitivamente es posible, necesitamos arquitecturas muy diferentes, tanto en términos de capacidades como de seguridad. Creo que vamos a poder hacer algún progreso en la explicabilidad, en los tipos actuales de modelos, y hacer que nos expliquen mejor lo que están haciendo y por qué. Pero no me sorprendería si hubiera otro salto gigante después de los transformadores. Y en realidad ya estamos en el transformador original, la arquitectura ha cambiado mucho.

Zhang Hongjiang: Como investigador, también tengo curiosidad, ¿cuál es la próxima dirección de la investigación de AGI? En términos de modelos grandes, modelos de lenguaje grande, ¿veremos GPT-5 pronto? ¿La próxima frontera está en los modelos encarnados? ¿Es la robótica autónoma un área que OpenAI es o planea explorar?

Sam Altman: También tengo curiosidad sobre lo que sigue, y una de las cosas que más me gustan de hacer este trabajo es que hay mucha emoción y sorpresa en la vanguardia de la investigación. Todavía no tenemos las respuestas, por lo que estamos explorando muchos posibles nuevos paradigmas. Por supuesto, en algún momento intentaremos hacer un modelo GPT-5, pero no pronto. No sabemos cuándo exactamente. Hemos estado trabajando en robótica desde el comienzo de OpenAI y estamos muy interesados en ella, pero hemos tenido algunas dificultades. Espero que algún día podamos volver a este campo.

Zhang Hongjiang: Suena genial. También mencionó en su presentación cómo usa GPT-4 para explicar cómo funciona GPT-2, lo que hace que el modelo sea más seguro. ¿Este enfoque es escalable? ¿Es esta la dirección en la que OpenAI seguirá avanzando en el futuro?

Sam Altman: Continuaremos empujando en esta dirección.

Zhang Hongjiang: ¿Cree que este método se puede aplicar a las neuronas biológicas? Porque la razón por la que hago esta pregunta es porque hay algunos biólogos y neurocientíficos que quieren usar este método para estudiar y explorar cómo funcionan las neuronas humanas en su campo.

Sam Altman: Es mucho más fácil ver lo que sucede en las neuronas artificiales que en las neuronas biológicas. Así que creo que este enfoque es válido para las redes neuronales artificiales. Creo que hay una manera de usar modelos más poderosos para ayudarnos a entender otros modelos. Pero no estoy muy seguro de cómo aplicaría este enfoque al cerebro humano.

Zhang Hongjiang: Está bien, gracias. Ahora que hemos hablado sobre la seguridad de la IA y el control de AGI, una de las preguntas que hemos estado discutiendo es, ¿sería más seguro si solo hubiera tres modelos en el mundo? Es como el control nuclear, no quieres que proliferen las armas nucleares. Tenemos este tratado donde tratamos de controlar la cantidad de países que pueden obtener esta tecnología. Entonces, ¿controlar el número de modelos es una dirección factible?

Sam Altman: Creo que hay diferentes opiniones sobre si es más seguro tener un modelo minoritario o un modelo mayoritario en el mundo. Creo que es más importante, ¿tenemos un sistema en el que cualquier modelo robusto se pruebe adecuadamente para la seguridad? ¿Tenemos un marco en el que cualquiera que cree un modelo suficientemente sólido tenga tanto los recursos como la responsabilidad de garantizar que lo que crea sea seguro y esté alineado?

Zhang Hongjiang: En esta reunión de ayer, el profesor Max del MIT Future of Life Institute mencionó un método posible, que es similar a la forma en que controlamos el desarrollo de fármacos. Cuando los científicos o las empresas desarrollan nuevos medicamentos, no puede comercializarlos directamente. Tienes que pasar por este proceso de prueba. ¿Es esto algo de lo que podamos aprender?

Sam Altman: Definitivamente creo que podemos aprender mucho de los marcos de licencias y pruebas que se han desarrollado en diferentes industrias. Pero creo que fundamentalmente tenemos algo que puede funcionar.

Zhang Hongjiang: Muchas gracias, Sam. Gracias por tomarse el tiempo para asistir a esta reunión, aunque sea virtualmente. Estoy seguro de que hay muchas más preguntas, pero dado el tiempo, tenemos que detenernos aquí. Espero que la próxima vez que tenga la oportunidad de venir a China, venga a Beijing, podamos tener una discusión más profunda. muchas gracias.