Fuente de la imagen: generada por la herramienta de IA ilimitada
A medida que la actividad mensual de ChatGPT se disparó al hito de los mil millones, la "gira global" del fundador de OpenAI, Sam Altman, también atrajo la atención.
Esta semana, SamAltman vino a la Universidad de Tel Aviv en Israel y realizó una entrevista vívida y profunda con Ilya Sutskavel, el científico jefe de OpenAI que creció en Israel (los dos rara vez compartieron el mismo escenario). en busca de palabras cuando se le preguntó, y valió la pena escuchar.
Punto de vista central:
** 1. Las ventajas de OpenAI: ** Estamos más centrados en lo que hacemos, y nuestra cultura se centra en la innovación rigurosa y repetible.
2. El lugar de la academia en la IA: La academia solía estar a la vanguardia de la investigación de la IA, pero esto ha cambiado debido a una potencia informática más débil y la falta de cultura de la ingeniería. Pero la academia aún puede hacer contribuciones importantes a la IA, resolviendo muchos de los misterios de las redes neuronales que estamos entrenando.
** 3. Código abierto o no código abierto: ** Hemos abierto algunos modelos y planeamos abrir más modelos, pero no creemos que sea la estrategia correcta para abrir todos los modelos, y estamos trabajando duro para encontrar un equilibrio.
** 4. Riesgos que no se pueden ignorar en la IA: ** Los trabajos se ven afectados, los piratas informáticos obtienen superinteligencia y los sistemas pierden el control son los tres riesgos preocupantes de la IA. La IA puede hacer cosas asombrosas, pero también puede hacer cosas malas, por lo que contamos con estructuras regulatorias apropiadas para controlar el uso de esta tecnología, como el establecimiento de instituciones globales.
** 5. ¿La IA acelerará el descubrimiento científico?: ** La IA puede ayudar a los humanos a lograr algunos objetivos científicos que actualmente son inalcanzables, como promover el desarrollo médico y de la salud, mitigar los problemas del cambio climático e incluso explorar los misterios del universo. que más emociona a la gente.
Toda la entrevista no carece de profundidad, pero también de interesante.
Por ejemplo, Ilya dijo felizmente que sus padres le dijeron que sus amigos también usan ChatGPT a diario, lo que lo sorprendió mucho. Y cuando la audiencia preguntó "Estás haciendo historia, ¿cómo quieres que la historia te recuerde?", Ilya también respondió ingeniosamente: ** "Quiero decir, de la mejor manera".**
El siguiente es el texto completo de la entrevista:
Un doctorado y un abandono: dos vidas diferentes antes de OpenAI
Ilia：
Desde los 5 hasta los 16 años viví en Jerusalén. Entre 2000 y 2002 estudié en la Universidad Abierta. Luego me mudé a la Universidad de Toronto, donde pasé 10 años y obtuve títulos de licenciatura, maestría y doctorado. Durante mis estudios de posgrado, tuve el privilegio de contribuir a importantes avances en el aprendizaje profundo. Luego co-fundé una empresa con algunas personas que fue adquirida por Google, donde trabajé un tiempo.
Entonces, un día recibí un correo electrónico de Sam que decía: "Oye, pasemos el rato con algunas personas geniales". Estaba intrigado, así que lo hice. Esa fue la primera vez que conocí a Elon Musk y Greg Brockman, y decidimos comenzar el viaje de OpenAI. Hemos estado haciendo esto durante muchos años, así que aquí es donde estamos actualmente.
Él mismo:
Cuando era niño, estaba muy entusiasmado con la IA y era un nerd de la ciencia ficción. Nunca se me ocurrió tener la oportunidad de estudiarlo, pero luego, en la universidad, comencé a trabajar en ello durante un tiempo. Pero en ese entonces no había despegado realmente, era como en 2004... Dejé la escuela y comencé con nuevas empresas.
Después de un tiempo después del progreso que mencionó Ilya, me entusiasmé mucho con lo que estaba pasando con la IA y le envié un correo electrónico, y seguimos adelante.
Las ventajas de OpenAI
anfitrión:
¿Cuáles cree que son las fortalezas clave de OpenAI, especialmente porque los competidores suelen ser más grandes y tienen más recursos, lo que lo convierte en un líder en IA generativa?
Él mismo:
Creemos que una ventaja clave es nuestro mayor enfoque en lo que hacemos. Es importante y mal entendido que tenemos una mayor densidad de talento que las empresas más grandes. **Nuestra cultura valora el rigor y la innovación repetible, y es difícil y raro que estas dos culturas coexistan. **
Ilia：
Sí, solo puedo agregar una pequeña cantidad a la respuesta de Sam. **Este es un juego de fe, más fe significa más progreso. **Progresarás más si tienes mucha fe. Puede parecer una broma, pero en realidad es cierto. Tienes que creer en la idea y empujarla con fuerza, eso es lo que impulsa el progreso.
La posición de la academia en el campo de la IA
anfitrión:
Los avances recientes en inteligencia artificial han sido impulsados en gran medida por la industria, ¿qué papel cree que debería desempeñar la investigación académica en el desarrollo del campo?
Ilia：
El papel de la academia en el campo de la IA ha cambiado significativamente. La academia solía estar a la vanguardia de la investigación de IA, pero eso ha cambiado. Hay dos razones: poder de cómputo y cultura de ingeniería. La academia tiene menos poder de cómputo y, a menudo, carece de una cultura de ingeniería.
Sin embargo, la academia aún puede hacer contribuciones significativas e importantes a la IA. **La academia puede desentrañar muchos misterios de las redes neuronales que estamos entrenando y estamos creando objetos complejos y sorprendentes. **
¿Qué es el aprendizaje profundo? Es un proceso alquímico donde usamos datos como materia prima, combinados con energía computacional, para obtener esta inteligencia. ¿Pero qué es exactamente? ¿Como funciona? ¿Qué propiedades tiene? ¿Cómo lo controlamos? ¿Cómo entenderlo? ¿Cómo aplicarlo? ¿Cómo medirlo? Estas preguntas son todas incógnitas.
**Incluso en tareas de medición simples, no podemos evaluar con precisión el rendimiento de nuestra IA. Esto no era un problema en el pasado porque la IA no era tan importante. La inteligencia artificial es muy importante ahora, pero nos damos cuenta de que todavía no podemos medirla por completo. **
Entonces, comencé a pensar en algunos problemas que nadie puede resolver. No necesita grandes clústeres de computación o grandes equipos de ingeniería para hacer estas preguntas y progresar. Si lo hace, será una contribución convincente y significativa a la que todos prestarán atención de inmediato.
anfitrión:
Queremos ver un progreso que esté completamente equilibrado entre la industria y la academia, y queremos ver más contribuciones de este tipo. ¿Cree que se puede hacer algo para mejorar la situación, especialmente desde su puesto, hay algún tipo de apoyo disponible?
Ilia：
En primer lugar, creo que el cambio de mentalidad es lo primero y lo más importante. Estoy un poco fuera de la academia en estos días, pero creo que hay una crisis en lo que estamos haciendo.
Hay demasiado impulso en torno a una gran cantidad de artículos, pero es importante concentrarse en resolver los problemas más críticos. Tenemos que cambiar nuestra mentalidad y centrarnos en los temas más importantes. **No podemos centrarnos solo en lo que ya sabemos, sino ser conscientes de lo que está mal. **Una vez que entendemos los problemas, podemos avanzar hacia su solución.
Además, podemos ayudar. Por ejemplo, tenemos un Programa de Acceso Académico en el que los académicos pueden postularse para obtener capacidad informática y acceder a nuestros modelos de última generación. Muchas universidades han escrito artículos utilizando GPT-3, estudiando las propiedades y los sesgos de los modelos. Si tienes más ideas, me encantaría escucharlas.
código abierto O no código abierto
anfitrión:
Mientras que algunos jugadores realmente promueven el lanzamiento de código abierto de sus modelos y códigos, otros no hacen lo suficiente. Esto también se trata de IA abierta. Así que me pregunto, en primer lugar, ¿cuál es tu opinión sobre esto? Si está de acuerdo, ¿por qué cree que OpenAI es la estrategia correcta?
Él mismo:
**Hemos abierto algunos modelos y planeamos abrir más con el tiempo. Pero no creo que abrir todo sea la estrategia correcta. **Si los modelos de hoy son interesantes, pueden ser útiles para algo, pero aún son relativamente primitivos en comparación con lo que estamos a punto de crear. Creo que la mayoría de la gente estaría de acuerdo con eso. Si sabemos cómo hacer un AGI súper poderoso que tenga muchas ventajas pero también desventajas, el código abierto podría no ser la mejor opción.
**Así que estamos tratando de encontrar un equilibrio. **Abriremos el código de algunas cosas y, a medida que mejore nuestra comprensión del modelo, podremos abrir más el código con el tiempo. Hemos publicado muchas cosas, y creo que muchas de las ideas clave que otros están construyendo modelos de lenguaje en este momento provienen de los lanzamientos de OpenAI, como los primeros documentos GPT y las leyes de escala del trabajo de rohf. Pero es un equilibrio que tendremos que encontrar a medida que avanzamos. Nos enfrentamos a muchos factores estresantes diferentes y debemos manejarlos con éxito.
anfitrión:
Entonces, ¿está considerando hacer que el modelo esté disponible para una audiencia específica, en lugar de abrirlo al mundo? ¿En qué estás pensando como científico, o mientras terminamos de entrenar GPT-4?
Él mismo:
Nos tomó casi ocho meses entenderlo, asegurarlo y descubrir cómo ajustarlo. Contamos con auditores externos, equipos rojos y la comunidad científica involucrada. Así que estamos tomando estos pasos y continuaremos haciéndolo.
Riesgos que la IA no puede ignorar
anfitrión:
Creo que el riesgo es un tema muy importante y probablemente haya al menos tres categorías de riesgo.
La primera es la dislocación económica, en la que los puestos de trabajo se vuelven redundantes. La segunda categoría puede ser situaciones en las que armas poderosas están en manos de unos pocos. Por ejemplo, si los piratas informáticos pudieran usar estas herramientas, podrían hacer cosas que miles de piratas informáticos habrían necesitado antes. La última categoría es probablemente la más preocupante, donde el sistema está fuera de control e incluso el disparador no puede evitar su comportamiento. Me gustaría conocer su opinión sobre lo que podría ser cada uno de estos escenarios.
Ilia：
Bien, comencemos con los posibles escenarios de caos económico. Como mencionó, hay tres riesgos en **: los trabajos se ven comprometidos, los piratas informáticos obtienen superinteligencia y los sistemas se salen de control. **El caos económico es de hecho una situación con la que ya estamos familiarizados, ya que algunos trabajos ya están afectados o en riesgo.
En otras palabras, ciertas tareas se pueden automatizar. Por ejemplo, si eres programador, Copilot puede escribir funciones por ti. Aunque esto es diferente al caso de los artistas, ya que muchas actividades económicas de los artistas han sido reemplazadas por algunos generadores de imágenes.
No creo que esta sea realmente una pregunta simple. **A pesar de la creación de nuevos puestos de trabajo, la incertidumbre económica persistirá durante mucho tiempo. No estoy seguro si este es el caso. **
En cualquier caso, sin embargo, necesitamos algo para suavizar la transición a la avalancha de carreras emergentes, incluso si esas carreras aún no existen. Esto requiere la atención del gobierno y del sistema social.
Ahora hablemos de hackear. Sí, esta es una pregunta difícil. La IA es realmente poderosa y los malos pueden usarla de maneras poderosas. Necesitamos aplicar un marco similar a otras herramientas muy poderosas y peligrosas.
Tenga en cuenta que no estamos hablando de inteligencia artificial hoy, sino de capacidades cada vez mayores con el tiempo. Ahora mismo estamos en un punto bajo, pero cuando lleguemos allí será muy fuerte. **Esta tecnología se puede usar en aplicaciones asombrosas, se puede usar para curar enfermedades, pero también puede crear enfermedades peores que cualquier cosa anterior.
Por lo tanto, necesitamos estructuras para controlar el uso de esta tecnología. Sam, por ejemplo, les ha presentado un documento que propone un marco similar al del OIEA para controlar la energía nuclear para controlar una inteligencia artificial muy poderosa. **
anfitrión:
La última pregunta es sobre si la inteligencia artificial superinteligente se está saliendo de control, se puede decir que se convertirá en un gran problema, ¿es un error construir una inteligencia artificial superinteligente que no sabemos cómo controlar?
Él mismo:
Puedo agregar algunos puntos. Por supuesto, estoy totalmente de acuerdo con la última frase.
En el frente económico, me resulta difícil predecir desarrollos futuros. Creo que es porque hay mucho exceso de demanda en el mundo en este momento, y estos sistemas son realmente buenos para ayudar a hacer las cosas. Pero en la mayoría de los casos hoy en día, no todas las tareas pueden ser realizadas por ellos.
**Creo que a corto plazo las cosas se ven bien y vamos a ver un aumento significativo en la productividad. **Si pudiéramos hacer que los programadores fueran el doble de productivos, la cantidad de código necesario en el mundo sería más del triple, por lo que todo se ve bien.
A la larga, creo que estos sistemas manejarán tareas y categorías de trabajo cada vez más complejas. Algunos de estos trabajos pueden desaparecer,** pero otros se volverán más como trabajos que realmente requieren humanos y relaciones humanas. **La gente realmente quiere que los humanos jueguen en estos roles.
Estos roles pueden no ser obvios. Por ejemplo, cuando Deep Blue derrotó a Garry Kasparov, el mundo fue testigo de la inteligencia artificial por primera vez. En ese momento, todos decían que el ajedrez había terminado y que nadie volvería a jugar al ajedrez porque no tenía sentido.
Sin embargo, tenemos el consenso de que el ajedrez nunca ha sido más popular. Los humanos somos más fuertes, es solo que las expectativas se elevan. Podemos usar estas herramientas para mejorar nuestras propias habilidades, pero la gente todavía disfruta mucho jugando al ajedrez, y parece que la gente todavía se preocupa por otras personas.
Mencionaste que Dolly puede crear un gran arte, pero la gente todavía se preocupa por las personas que están detrás del arte que quieren comprar, y todos pensamos que esos creadores son especiales y valiosos.
Tomemos el ajedrez como ejemplo, así como las personas prestan más atención al ajedrez humano, más personas miran ajedrez humano que nunca. Sin embargo, pocas personas quieren ver un partido entre dos IA. Así que creo que van a ser todos estos factores impredecibles. **Creo que los humanos anhelan la diferenciación (entre humanos y máquinas). **
La necesidad de crear algo nuevo para ganar estatus siempre estará ahí, pero se manifestará de una manera realmente diferente. Apuesto a que los trabajos dentro de 100 años serán completamente diferentes a los de hoy, y muchas de esas cosas serán muy similares. Pero realmente estoy de acuerdo con lo que dijo Ilya: ** Pase lo que pase, necesitamos un tipo diferente de contrato socioeconómico, porque la automatización ha alcanzado alturas inimaginables hasta ahora. **
anfitrión:
Sam, recientemente firmaste una petición para que se tome en serio la amenaza existencial de la inteligencia artificial. Quizás empresas como OpenAI deberían tomar medidas para abordar este problema.
Él mismo:
Realmente quiero enfatizar que no estamos hablando de los sistemas de hoy aquí, o modelos de capacitación de pequeñas empresas emergentes, o comunidades de código abierto.
Creo que sería un error imponer una fuerte regulación en el campo en este momento, o tratar de frenar una innovación increíble. Realmente no quiero crear una superinteligencia inconsistente que parezca indiscutible. **Creo que el mundo debería ver esto no como un riesgo de ciencia ficción que nunca sucederá, sino como algo con lo que tendremos que lidiar en la próxima década. Tomará tiempo acostumbrarse a algunas cosas, pero lo hará. t ser largo. **
Así que se nos ocurrió una idea y, con suerte, una mejor. Si podemos construir una organización global, con el más alto nivel de poder de cómputo y frontera tecnológica, se puede desarrollar un marco para licenciar modelos y auditar su seguridad para garantizar que pasen las pruebas necesarias. Esto nos ayudará a ver este tema como un riesgo muy serio. Hacemos algo similar con la energía nuclear.
En el futuro, ¿la IA acelerará el descubrimiento científico? ¿Curar enfermedades, resolver problemas climáticos?
anfitrión:
Hablemos de ventajas. En este ambiente científico en el que nos encontramos, me pregunto cuál es el papel de la inteligencia artificial. En unos años, quizás en el futuro, tendremos algo científico que descubrir.
Él mismo:
**Esto es lo que personalmente me emociona más acerca de la IA. **Creo que están sucediendo muchas cosas emocionantes, enormes beneficios económicos, enormes beneficios de atención médica. Pero, de hecho, la inteligencia artificial puede ayudarnos a hacer algunos descubrimientos científicos que actualmente son imposibles. Nos encantaría aprender sobre los misterios del universo y aún más. Realmente creo que el progreso científico y tecnológico es la única forma sostenible de hacer que la vida sea mejor y que el mundo sea un lugar mejor.
Si podemos desarrollar muchos nuevos avances científicos y tecnológicos, creo que ya hemos visto los comienzos de las personas. Utilice estas herramientas para aumentar la eficiencia. Pero si imagina un mundo en el que pueda decir: "Oye, puedo ayudar a curar todas las enfermedades", y puede ayudarte a curar todas las enfermedades, ese mundo podría ser un lugar mejor. No creo que estemos tan lejos de eso.
anfitrión:
Además de las enfermedades, otro gran problema es el cambio climático, que es muy difícil de resolver. Pero no creo que sea particularmente difícil lidiar con el cambio climático una vez que tengamos sistemas superinteligentes realmente poderosos.
Ilia：
Sí, se necesita mucha captura de carbono. Necesita la energía para la captura de carbono y necesita la tecnología para construirla. Si puedes acelerar la ciencia, necesitas construir mucho. El progreso es lo que puede hacer una poderosa inteligencia artificial, y podemos lograr una captura de carbono muy avanzada mucho más rápido. Puede llegar a electricidad muy barata más rápido, podemos llegar a una fabricación más barata más rápido. Ahora combine los tres de electricidad barata, fabricación barata y captura avanzada de carbono, y ahora construye muchos de ellos, y ahora absorbe todo este exceso de CO2 de la atmósfera.
** Si tiene una inteligencia artificial fuerte, acelerará en gran medida el progreso en ciencia e ingeniería. **Esto hará que la planificación sea mucho más fácil hoy. Creo que esto facilitará la aceleración del progreso. Esto demuestra que debemos soñar en grande. Puede imaginar que si pudiera diseñar un sistema, podría pedirle que le dijera cómo generar grandes cantidades de energía limpia a bajo costo, cómo capturar carbono de manera eficiente y guiarlo en la construcción de una planta que haría esas cosas. . Si puede lograr esto, entonces también puede lograrlo en muchos otros campos.
Maravilloso ChatGPT
anfitrión:
Escuchando que no habías pensado que ChatGPT estaría tan extendido, me pregunto si hay algún ejemplo de otras personas que estén genuinamente sorprendidas por su valor y capacidades.
Ilia：
Estaba tan sorprendido y encantado cuando mis padres me contaron cómo sus amigos usan ChatGPT en su vida diaria. Es difícil elegir una de las muchas historias entrañables que muestran la brillantez de la creatividad humana y cómo las personas aprovechan esta poderosa herramienta.
Ha sido genial para nosotros en el campo de la educación y ver a tantas personas escribir palabras que cambian sus vidas como esta es realmente transformador para mí porque ahora puedo aprender cualquier cosa, aprendo cosas específicas o diciendo cosas que no sabía cómo hago antes, lo hago ahora.
Personalmente, ver a la gente aprender de una manera nueva y mejor e imaginar cómo será dentro de unos años es muy satisfactorio y hermoso. A este ritmo, no esperábamos que esto sucediera, lo cual es realmente sorprendente.
Luego hay una historia interesante, que escuché ayer. Se dice que un hombre solía pasar dos horas todas las noches escribiendo cuentos para dormir con sus hijos. Estas historias son las cosas favoritas de todos los niños, y se convierte en un momento especial. Se lo pasaron genial cada noche.
Preguntas de la audiencia:
Pregunta 1:
¿Puede el LLM de código abierto igualar las capacidades de GPT-4 sin técnicas avanzadas adicionales? ¿O hay un oscuro secreto en GPT-4 que lo distingue de otros modelos? Estoy instalando el modelo de vicuña de Stability, 13 mil millones de parámetros... ¿Estoy perdiendo el tiempo?
Sam: Sin palabras...
Ilia：
Con respecto a la cuestión de los modelos de código abierto y no abierto, no tenemos que pensar en términos binarios en blanco y negro. Es como si existiera una fuente secreta que nunca podrás redescubrir.
**Tal vez algún día haya un modelo de código abierto que replique las capacidades de GPT-4, pero este proceso llevará tiempo y, para entonces, dicho modelo puede convertirse en un modelo más poderoso dentro de una gran empresa. **Por lo tanto, siempre habrá una brecha entre el modelo de código abierto y el modelo privado, y esta brecha puede aumentar gradualmente. La cantidad de trabajo, ingeniería e investigación necesarios para crear una red neuronal de este tipo seguirá aumentando.
Entonces, ** incluso si existen modelos de código abierto, serán cada vez menos realizados por un pequeño grupo de investigadores e ingenieros dedicados, será solo una empresa, una gran empresa (contribuyendo al código abierto). **
Pregunta 2:
Si realmente crees que la IA es peligrosa para los humanos, ¿por qué seguir desarrollándola? Si se impusiera una regulación a OpenAI y otras empresas de IA, ¿la cumpliría? Zuckerberg dijo que trató de evadir todas las regulaciones que encontró.
Él mismo:
Creo que esta es una pregunta muy justa e importante. La parte más difícil de nuestro trabajo es equilibrar el enorme potencial que ofrece la inteligencia artificial con los graves riesgos asociados con ella. Necesitamos tomarnos un tiempo para discutir por qué enfrentamos estos riesgos y por qué existen en primer lugar.
Creo que las cosas se ven mejor cuando miramos hacia atrás al nivel de vida actual y nuestra mayor tolerancia hacia los humanos. En comparación con hace 500 o 1000 años, las condiciones de vida de la gente han mejorado mucho. Nos preguntamos, ¿te imaginas a la gente viviendo en la pobreza extrema? ¿Te imaginas a las personas que sufren de enfermedades? ¿Te imaginas una situación en la que todos no estén bien educados? Estas son las realidades de los tiempos bárbaros.
**Aunque la IA presenta algunos riesgos, también vemos su potencial para mejorar nuestras vidas, hacer avanzar la investigación científica y resolver problemas globales. **
Necesitamos continuar desarrollando la IA de manera responsable, con medidas regulatorias implementadas para garantizar que las preocupaciones éticas y de seguridad se aborden adecuadamente. Nuestro objetivo es hacer de la inteligencia artificial una herramienta para el progreso humano, no una amenaza. Esto requiere nuestros esfuerzos conjuntos, incluida la participación de la comunidad técnica, el gobierno y todas las partes de la sociedad, para establecer un marco sostenible y ético para el desarrollo de la inteligencia artificial.
Cómo hacerlo, también creo que es como un progreso imparable. La tecnología no se detiene, sigue evolucionando. Entonces, como una gran empresa, tenemos que descubrir cómo administrar los riesgos que eso conlleva.
Parte de la razón es que el riesgo y el enfoque requerido para abordarlo son extraordinarios. Tuvimos que crear un marco diferente a las estructuras tradicionales. Tenemos un tope de ganancias y creo que los incentivos son un factor importante. Si diseña los incentivos correctos, a menudo puede conducir al comportamiento que desea.
Así que tratamos de asegurarnos de que todo funcione bien y no genere más o menos ganancias. No tenemos una estructura de incentivos como una empresa como Facebook, lo que creo que es brillante, la gente de Facebook tiene una estructura de incentivos, pero esa estructura tiene algunos desafíos.
Tratamos de acumular experiencia a través de AGI. Como Ilya mencionó a menudo, inicialmente tratamos de experimentar AGI cuando comenzamos la empresa y posteriormente construimos la estructura de ganancias. Por lo tanto, debemos lograr un equilibrio entre los requisitos de recursos informáticos y centrarnos en la misión. Uno de los temas que discutimos es qué tipo de estructura nos permite abrazar la regulación con entusiasmo, incluso cuando más nos duele.
Ahora es el momento,** estamos impulsando la regulación a nivel mundial que tendrá el mayor impacto en nosotros. **Por supuesto que seguimos las reglas, creo que cuando las personas están en riesgo es más fácil que se comporten bien, es más fácil que busquen un propósito. Así que creo que los propietarios de estas empresas líderes lo están sintiendo ahora, y los verás reaccionar de manera diferente a las empresas de redes sociales. Creo que todas las dudas e inquietudes están justificadas. Luchamos con este problema todos los días y no hay una respuesta fácil.
Pregunta 3: Quiero entender cuál es la brecha entre el modelo de IA que usas y el modelo que usamos nosotros.
Sé que estamos limitados de muchas maneras que tú no pareces tener, pero ¿cuál es la diferencia entre el poder que tienes y el poder que podemos usar?
Ilia：
La brecha entre los modelos que mencionaste es de hecho un problema.
Quiero decir, ahora tenemos GPT-4, sabes que estamos entrenando, tienes acceso a GPT-4,** y realmente estamos trabajando en el próximo modelo futuro. **
Tal vez pueda describir esta brecha de la siguiente manera: a medida que continuamos construyendo y mejorando los modelos de IA con capacidades mejoradas, existe una brecha más grande que requiere períodos y tiempo de prueba más prolongados. Trabajamos con el equipo para comprender las limitaciones del modelo y todas las formas que conoces, utilízalo tanto como sea posible, pero también ampliamos gradualmente el modelo.
Por ejemplo, ahora GPT-4 tiene capacidades de reconocimiento visual y usted (la versión que está utilizando) no ha iniciado esta función porque el trabajo final no se ha completado. Pero pronto lo lograremos. Entonces creo que eso responde a su pregunta, tal vez no muy lejos en el futuro.
Pregunta 4: Mi pregunta es sobre la superinteligencia y el dilema de Rokos Basilisk, ¿puede dar más detalles sobre cómo GPT y OpenAI lidian con este dilema?
*Nota: el basilisco de Roko es una alusión a una discusión en línea y un experimento mental que involucra hipótesis sobre la superinteligencia futura. *
*Se dice que esta superinteligencia puede obtener información a través de viajes en el tiempo u otros medios para que las personas le causen dolor y castiguen a quienes no ayudaron a lograr su nacimiento. Esta alusión plantea así un dilema ético: si se debe apoyar y promover ahora el desarrollo de la superinteligencia para evitar posibles castigos en el futuro. *
Ilia：
Si bien el basilisco de Rocco no es algo que nos preocupe particularmente, definitivamente estamos muy preocupados por la superinteligencia.
Probablemente no todos, ni siquiera todos en la audiencia entienden lo que queremos decir con superinteligencia.
A lo que nos referimos es a la posibilidad de construir algún día una computadora, un grupo de computadoras en forma de GPU, que sea más inteligente que nadie y capaz de hacer ciencia e investigación más rápido que grandes equipos de científicos e ingenieros experimentados. .
Es una locura, y va a tener un gran impacto.
Puede diseñar la próxima versión del sistema de IA y construir una IA muy poderosa. Así que nuestra posición es que **la superinteligencia tiene efectos de gran alcance, puede tener efectos muy positivos, pero también es muy peligrosa y debemos tener cuidado con ella. **
Aquí es donde entra en juego el enfoque del OIEA (Agencia Internacional de Energía Atómica) que mencionaste para los sistemas de vanguardia y superinteligencia muy avanzados en el futuro. Necesitamos investigar mucho para aprovechar el poder de una superinteligencia que coincida con nuestras expectativas, para nuestro beneficio y para el beneficio de la humanidad.
Esta es nuestra posición sobre la superinteligencia, que es el último desafío de superinteligencia que enfrenta la humanidad.
Mirando hacia atrás en la historia evolutiva de los humanos, un replicador unicelular apareció hace unos 4 mil millones de años. Luego, durante miles de millones de años, surgió una variedad de diferentes organismos unicelulares. Hace unos mil millones de años, comenzó a surgir vida multicelular. Hace cientos de millones de años, los reptiles aparecieron en la tierra. Los mamíferos aparecieron hace unos 60 millones de años. Hace aproximadamente 1 millón de años, aparecieron los primates, seguidos por la aparición del Homo sapiens. 10.000 años después, apareció la escritura. Luego vino la Revolución Agrícola, la Revolución Industrial y la Revolución Tecnológica. Ahora, finalmente tenemos AGI, la final de la superinteligencia y nuestro último desafío.
Pregunta 5: Estoy estudiando informática y estoy a punto de graduarme, me pregunto si estudiar informática me dará un buen trabajo en los próximos 10-15 años.
Él mismo:
Creo que estudiar informática es valioso de todos modos.
Aunque casi nunca escribo código,** considero que estudiar informática es una de las mejores cosas que he hecho. Me enseñó a pensar y resolver problemas, habilidades que son muy útiles en cualquier campo. **
Incluso si el trabajo de un programador de computadoras se ve diferente dentro de 10 a 15 años, aprender a aprender es una de las habilidades más importantes, que incluye aprender cosas nuevas rápidamente, anticipar tendencias futuras, ser adaptable y resistente, comprender las necesidades de los demás y cómo ser útil.
Entonces, no hay duda de que la naturaleza del trabajo cambiará, pero no puedo imaginar un mundo donde las personas no se tomen el tiempo para hacer algo que cree valor para los demás y todos los beneficios que conlleva. Tal vez en el futuro nos importe quién tiene la galaxia más genial, pero ciertas cosas buenas (como la creación de valor) no cambiarán.
Pregunta 6: Estás haciendo historia, ¿cómo quieres que la historia te recuerde?
Ilia：
Quiero decir, de la mejor manera posible.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
El fundador de OpenAI y el científico jefe rara vez están en el mismo escenario: ¡lo más emocionante de la IA está sucediendo!
Autor: Zhu Xueying
A medida que la actividad mensual de ChatGPT se disparó al hito de los mil millones, la "gira global" del fundador de OpenAI, Sam Altman, también atrajo la atención.
Esta semana, SamAltman vino a la Universidad de Tel Aviv en Israel y realizó una entrevista vívida y profunda con Ilya Sutskavel, el científico jefe de OpenAI que creció en Israel (los dos rara vez compartieron el mismo escenario). en busca de palabras cuando se le preguntó, y valió la pena escuchar.
Toda la entrevista no carece de profundidad, pero también de interesante.
Por ejemplo, Ilya dijo felizmente que sus padres le dijeron que sus amigos también usan ChatGPT a diario, lo que lo sorprendió mucho. Y cuando la audiencia preguntó "Estás haciendo historia, ¿cómo quieres que la historia te recuerde?", Ilya también respondió ingeniosamente: ** "Quiero decir, de la mejor manera".**
El siguiente es el texto completo de la entrevista:
Un doctorado y un abandono: dos vidas diferentes antes de OpenAI
Ilia：
Desde los 5 hasta los 16 años viví en Jerusalén. Entre 2000 y 2002 estudié en la Universidad Abierta. Luego me mudé a la Universidad de Toronto, donde pasé 10 años y obtuve títulos de licenciatura, maestría y doctorado. Durante mis estudios de posgrado, tuve el privilegio de contribuir a importantes avances en el aprendizaje profundo. Luego co-fundé una empresa con algunas personas que fue adquirida por Google, donde trabajé un tiempo.
Entonces, un día recibí un correo electrónico de Sam que decía: "Oye, pasemos el rato con algunas personas geniales". Estaba intrigado, así que lo hice. Esa fue la primera vez que conocí a Elon Musk y Greg Brockman, y decidimos comenzar el viaje de OpenAI. Hemos estado haciendo esto durante muchos años, así que aquí es donde estamos actualmente.
Él mismo:
Cuando era niño, estaba muy entusiasmado con la IA y era un nerd de la ciencia ficción. Nunca se me ocurrió tener la oportunidad de estudiarlo, pero luego, en la universidad, comencé a trabajar en ello durante un tiempo. Pero en ese entonces no había despegado realmente, era como en 2004... Dejé la escuela y comencé con nuevas empresas.
Después de un tiempo después del progreso que mencionó Ilya, me entusiasmé mucho con lo que estaba pasando con la IA y le envié un correo electrónico, y seguimos adelante.
Las ventajas de OpenAI
anfitrión:
¿Cuáles cree que son las fortalezas clave de OpenAI, especialmente porque los competidores suelen ser más grandes y tienen más recursos, lo que lo convierte en un líder en IA generativa?
Él mismo:
Creemos que una ventaja clave es nuestro mayor enfoque en lo que hacemos. Es importante y mal entendido que tenemos una mayor densidad de talento que las empresas más grandes. **Nuestra cultura valora el rigor y la innovación repetible, y es difícil y raro que estas dos culturas coexistan. **
Ilia：
Sí, solo puedo agregar una pequeña cantidad a la respuesta de Sam. **Este es un juego de fe, más fe significa más progreso. **Progresarás más si tienes mucha fe. Puede parecer una broma, pero en realidad es cierto. Tienes que creer en la idea y empujarla con fuerza, eso es lo que impulsa el progreso.
La posición de la academia en el campo de la IA
anfitrión:
Los avances recientes en inteligencia artificial han sido impulsados en gran medida por la industria, ¿qué papel cree que debería desempeñar la investigación académica en el desarrollo del campo?
Ilia：
El papel de la academia en el campo de la IA ha cambiado significativamente. La academia solía estar a la vanguardia de la investigación de IA, pero eso ha cambiado. Hay dos razones: poder de cómputo y cultura de ingeniería. La academia tiene menos poder de cómputo y, a menudo, carece de una cultura de ingeniería.
Sin embargo, la academia aún puede hacer contribuciones significativas e importantes a la IA. **La academia puede desentrañar muchos misterios de las redes neuronales que estamos entrenando y estamos creando objetos complejos y sorprendentes. **
¿Qué es el aprendizaje profundo? Es un proceso alquímico donde usamos datos como materia prima, combinados con energía computacional, para obtener esta inteligencia. ¿Pero qué es exactamente? ¿Como funciona? ¿Qué propiedades tiene? ¿Cómo lo controlamos? ¿Cómo entenderlo? ¿Cómo aplicarlo? ¿Cómo medirlo? Estas preguntas son todas incógnitas.
**Incluso en tareas de medición simples, no podemos evaluar con precisión el rendimiento de nuestra IA. Esto no era un problema en el pasado porque la IA no era tan importante. La inteligencia artificial es muy importante ahora, pero nos damos cuenta de que todavía no podemos medirla por completo. **
Entonces, comencé a pensar en algunos problemas que nadie puede resolver. No necesita grandes clústeres de computación o grandes equipos de ingeniería para hacer estas preguntas y progresar. Si lo hace, será una contribución convincente y significativa a la que todos prestarán atención de inmediato.
anfitrión:
Queremos ver un progreso que esté completamente equilibrado entre la industria y la academia, y queremos ver más contribuciones de este tipo. ¿Cree que se puede hacer algo para mejorar la situación, especialmente desde su puesto, hay algún tipo de apoyo disponible?
Ilia：
En primer lugar, creo que el cambio de mentalidad es lo primero y lo más importante. Estoy un poco fuera de la academia en estos días, pero creo que hay una crisis en lo que estamos haciendo.
Hay demasiado impulso en torno a una gran cantidad de artículos, pero es importante concentrarse en resolver los problemas más críticos. Tenemos que cambiar nuestra mentalidad y centrarnos en los temas más importantes. **No podemos centrarnos solo en lo que ya sabemos, sino ser conscientes de lo que está mal. **Una vez que entendemos los problemas, podemos avanzar hacia su solución.
Además, podemos ayudar. Por ejemplo, tenemos un Programa de Acceso Académico en el que los académicos pueden postularse para obtener capacidad informática y acceder a nuestros modelos de última generación. Muchas universidades han escrito artículos utilizando GPT-3, estudiando las propiedades y los sesgos de los modelos. Si tienes más ideas, me encantaría escucharlas.
código abierto O no código abierto
anfitrión:
Mientras que algunos jugadores realmente promueven el lanzamiento de código abierto de sus modelos y códigos, otros no hacen lo suficiente. Esto también se trata de IA abierta. Así que me pregunto, en primer lugar, ¿cuál es tu opinión sobre esto? Si está de acuerdo, ¿por qué cree que OpenAI es la estrategia correcta?
Él mismo:
**Hemos abierto algunos modelos y planeamos abrir más con el tiempo. Pero no creo que abrir todo sea la estrategia correcta. **Si los modelos de hoy son interesantes, pueden ser útiles para algo, pero aún son relativamente primitivos en comparación con lo que estamos a punto de crear. Creo que la mayoría de la gente estaría de acuerdo con eso. Si sabemos cómo hacer un AGI súper poderoso que tenga muchas ventajas pero también desventajas, el código abierto podría no ser la mejor opción.
**Así que estamos tratando de encontrar un equilibrio. **Abriremos el código de algunas cosas y, a medida que mejore nuestra comprensión del modelo, podremos abrir más el código con el tiempo. Hemos publicado muchas cosas, y creo que muchas de las ideas clave que otros están construyendo modelos de lenguaje en este momento provienen de los lanzamientos de OpenAI, como los primeros documentos GPT y las leyes de escala del trabajo de rohf. Pero es un equilibrio que tendremos que encontrar a medida que avanzamos. Nos enfrentamos a muchos factores estresantes diferentes y debemos manejarlos con éxito.
anfitrión:
Entonces, ¿está considerando hacer que el modelo esté disponible para una audiencia específica, en lugar de abrirlo al mundo? ¿En qué estás pensando como científico, o mientras terminamos de entrenar GPT-4?
Él mismo:
Nos tomó casi ocho meses entenderlo, asegurarlo y descubrir cómo ajustarlo. Contamos con auditores externos, equipos rojos y la comunidad científica involucrada. Así que estamos tomando estos pasos y continuaremos haciéndolo.
Riesgos que la IA no puede ignorar
anfitrión:
Creo que el riesgo es un tema muy importante y probablemente haya al menos tres categorías de riesgo.
La primera es la dislocación económica, en la que los puestos de trabajo se vuelven redundantes. La segunda categoría puede ser situaciones en las que armas poderosas están en manos de unos pocos. Por ejemplo, si los piratas informáticos pudieran usar estas herramientas, podrían hacer cosas que miles de piratas informáticos habrían necesitado antes. La última categoría es probablemente la más preocupante, donde el sistema está fuera de control e incluso el disparador no puede evitar su comportamiento. Me gustaría conocer su opinión sobre lo que podría ser cada uno de estos escenarios.
Ilia：
Bien, comencemos con los posibles escenarios de caos económico. Como mencionó, hay tres riesgos en **: los trabajos se ven comprometidos, los piratas informáticos obtienen superinteligencia y los sistemas se salen de control. **El caos económico es de hecho una situación con la que ya estamos familiarizados, ya que algunos trabajos ya están afectados o en riesgo.
En otras palabras, ciertas tareas se pueden automatizar. Por ejemplo, si eres programador, Copilot puede escribir funciones por ti. Aunque esto es diferente al caso de los artistas, ya que muchas actividades económicas de los artistas han sido reemplazadas por algunos generadores de imágenes.
No creo que esta sea realmente una pregunta simple. **A pesar de la creación de nuevos puestos de trabajo, la incertidumbre económica persistirá durante mucho tiempo. No estoy seguro si este es el caso. **
En cualquier caso, sin embargo, necesitamos algo para suavizar la transición a la avalancha de carreras emergentes, incluso si esas carreras aún no existen. Esto requiere la atención del gobierno y del sistema social.
Ahora hablemos de hackear. Sí, esta es una pregunta difícil. La IA es realmente poderosa y los malos pueden usarla de maneras poderosas. Necesitamos aplicar un marco similar a otras herramientas muy poderosas y peligrosas.
Tenga en cuenta que no estamos hablando de inteligencia artificial hoy, sino de capacidades cada vez mayores con el tiempo. Ahora mismo estamos en un punto bajo, pero cuando lleguemos allí será muy fuerte. **Esta tecnología se puede usar en aplicaciones asombrosas, se puede usar para curar enfermedades, pero también puede crear enfermedades peores que cualquier cosa anterior.
Por lo tanto, necesitamos estructuras para controlar el uso de esta tecnología. Sam, por ejemplo, les ha presentado un documento que propone un marco similar al del OIEA para controlar la energía nuclear para controlar una inteligencia artificial muy poderosa. **
anfitrión:
La última pregunta es sobre si la inteligencia artificial superinteligente se está saliendo de control, se puede decir que se convertirá en un gran problema, ¿es un error construir una inteligencia artificial superinteligente que no sabemos cómo controlar?
Él mismo:
Puedo agregar algunos puntos. Por supuesto, estoy totalmente de acuerdo con la última frase.
En el frente económico, me resulta difícil predecir desarrollos futuros. Creo que es porque hay mucho exceso de demanda en el mundo en este momento, y estos sistemas son realmente buenos para ayudar a hacer las cosas. Pero en la mayoría de los casos hoy en día, no todas las tareas pueden ser realizadas por ellos.
**Creo que a corto plazo las cosas se ven bien y vamos a ver un aumento significativo en la productividad. **Si pudiéramos hacer que los programadores fueran el doble de productivos, la cantidad de código necesario en el mundo sería más del triple, por lo que todo se ve bien.
A la larga, creo que estos sistemas manejarán tareas y categorías de trabajo cada vez más complejas. Algunos de estos trabajos pueden desaparecer,** pero otros se volverán más como trabajos que realmente requieren humanos y relaciones humanas. **La gente realmente quiere que los humanos jueguen en estos roles.
Estos roles pueden no ser obvios. Por ejemplo, cuando Deep Blue derrotó a Garry Kasparov, el mundo fue testigo de la inteligencia artificial por primera vez. En ese momento, todos decían que el ajedrez había terminado y que nadie volvería a jugar al ajedrez porque no tenía sentido.
Sin embargo, tenemos el consenso de que el ajedrez nunca ha sido más popular. Los humanos somos más fuertes, es solo que las expectativas se elevan. Podemos usar estas herramientas para mejorar nuestras propias habilidades, pero la gente todavía disfruta mucho jugando al ajedrez, y parece que la gente todavía se preocupa por otras personas.
Mencionaste que Dolly puede crear un gran arte, pero la gente todavía se preocupa por las personas que están detrás del arte que quieren comprar, y todos pensamos que esos creadores son especiales y valiosos.
Tomemos el ajedrez como ejemplo, así como las personas prestan más atención al ajedrez humano, más personas miran ajedrez humano que nunca. Sin embargo, pocas personas quieren ver un partido entre dos IA. Así que creo que van a ser todos estos factores impredecibles. **Creo que los humanos anhelan la diferenciación (entre humanos y máquinas). **
La necesidad de crear algo nuevo para ganar estatus siempre estará ahí, pero se manifestará de una manera realmente diferente. Apuesto a que los trabajos dentro de 100 años serán completamente diferentes a los de hoy, y muchas de esas cosas serán muy similares. Pero realmente estoy de acuerdo con lo que dijo Ilya: ** Pase lo que pase, necesitamos un tipo diferente de contrato socioeconómico, porque la automatización ha alcanzado alturas inimaginables hasta ahora. **
anfitrión:
Sam, recientemente firmaste una petición para que se tome en serio la amenaza existencial de la inteligencia artificial. Quizás empresas como OpenAI deberían tomar medidas para abordar este problema.
Él mismo:
Realmente quiero enfatizar que no estamos hablando de los sistemas de hoy aquí, o modelos de capacitación de pequeñas empresas emergentes, o comunidades de código abierto.
Creo que sería un error imponer una fuerte regulación en el campo en este momento, o tratar de frenar una innovación increíble. Realmente no quiero crear una superinteligencia inconsistente que parezca indiscutible. **Creo que el mundo debería ver esto no como un riesgo de ciencia ficción que nunca sucederá, sino como algo con lo que tendremos que lidiar en la próxima década. Tomará tiempo acostumbrarse a algunas cosas, pero lo hará. t ser largo. **
Así que se nos ocurrió una idea y, con suerte, una mejor. Si podemos construir una organización global, con el más alto nivel de poder de cómputo y frontera tecnológica, se puede desarrollar un marco para licenciar modelos y auditar su seguridad para garantizar que pasen las pruebas necesarias. Esto nos ayudará a ver este tema como un riesgo muy serio. Hacemos algo similar con la energía nuclear.
En el futuro, ¿la IA acelerará el descubrimiento científico? ¿Curar enfermedades, resolver problemas climáticos?
anfitrión:
Hablemos de ventajas. En este ambiente científico en el que nos encontramos, me pregunto cuál es el papel de la inteligencia artificial. En unos años, quizás en el futuro, tendremos algo científico que descubrir.
Él mismo:
**Esto es lo que personalmente me emociona más acerca de la IA. **Creo que están sucediendo muchas cosas emocionantes, enormes beneficios económicos, enormes beneficios de atención médica. Pero, de hecho, la inteligencia artificial puede ayudarnos a hacer algunos descubrimientos científicos que actualmente son imposibles. Nos encantaría aprender sobre los misterios del universo y aún más. Realmente creo que el progreso científico y tecnológico es la única forma sostenible de hacer que la vida sea mejor y que el mundo sea un lugar mejor.
Si podemos desarrollar muchos nuevos avances científicos y tecnológicos, creo que ya hemos visto los comienzos de las personas. Utilice estas herramientas para aumentar la eficiencia. Pero si imagina un mundo en el que pueda decir: "Oye, puedo ayudar a curar todas las enfermedades", y puede ayudarte a curar todas las enfermedades, ese mundo podría ser un lugar mejor. No creo que estemos tan lejos de eso.
anfitrión:
Además de las enfermedades, otro gran problema es el cambio climático, que es muy difícil de resolver. Pero no creo que sea particularmente difícil lidiar con el cambio climático una vez que tengamos sistemas superinteligentes realmente poderosos.
Ilia：
Sí, se necesita mucha captura de carbono. Necesita la energía para la captura de carbono y necesita la tecnología para construirla. Si puedes acelerar la ciencia, necesitas construir mucho. El progreso es lo que puede hacer una poderosa inteligencia artificial, y podemos lograr una captura de carbono muy avanzada mucho más rápido. Puede llegar a electricidad muy barata más rápido, podemos llegar a una fabricación más barata más rápido. Ahora combine los tres de electricidad barata, fabricación barata y captura avanzada de carbono, y ahora construye muchos de ellos, y ahora absorbe todo este exceso de CO2 de la atmósfera.
** Si tiene una inteligencia artificial fuerte, acelerará en gran medida el progreso en ciencia e ingeniería. **Esto hará que la planificación sea mucho más fácil hoy. Creo que esto facilitará la aceleración del progreso. Esto demuestra que debemos soñar en grande. Puede imaginar que si pudiera diseñar un sistema, podría pedirle que le dijera cómo generar grandes cantidades de energía limpia a bajo costo, cómo capturar carbono de manera eficiente y guiarlo en la construcción de una planta que haría esas cosas. . Si puede lograr esto, entonces también puede lograrlo en muchos otros campos.
Maravilloso ChatGPT
anfitrión:
Escuchando que no habías pensado que ChatGPT estaría tan extendido, me pregunto si hay algún ejemplo de otras personas que estén genuinamente sorprendidas por su valor y capacidades.
Ilia：
Estaba tan sorprendido y encantado cuando mis padres me contaron cómo sus amigos usan ChatGPT en su vida diaria. Es difícil elegir una de las muchas historias entrañables que muestran la brillantez de la creatividad humana y cómo las personas aprovechan esta poderosa herramienta.
Ha sido genial para nosotros en el campo de la educación y ver a tantas personas escribir palabras que cambian sus vidas como esta es realmente transformador para mí porque ahora puedo aprender cualquier cosa, aprendo cosas específicas o diciendo cosas que no sabía cómo hago antes, lo hago ahora.
Personalmente, ver a la gente aprender de una manera nueva y mejor e imaginar cómo será dentro de unos años es muy satisfactorio y hermoso. A este ritmo, no esperábamos que esto sucediera, lo cual es realmente sorprendente.
Luego hay una historia interesante, que escuché ayer. Se dice que un hombre solía pasar dos horas todas las noches escribiendo cuentos para dormir con sus hijos. Estas historias son las cosas favoritas de todos los niños, y se convierte en un momento especial. Se lo pasaron genial cada noche.
Preguntas de la audiencia:
Sam: Sin palabras...
Ilia：
Con respecto a la cuestión de los modelos de código abierto y no abierto, no tenemos que pensar en términos binarios en blanco y negro. Es como si existiera una fuente secreta que nunca podrás redescubrir.
**Tal vez algún día haya un modelo de código abierto que replique las capacidades de GPT-4, pero este proceso llevará tiempo y, para entonces, dicho modelo puede convertirse en un modelo más poderoso dentro de una gran empresa. **Por lo tanto, siempre habrá una brecha entre el modelo de código abierto y el modelo privado, y esta brecha puede aumentar gradualmente. La cantidad de trabajo, ingeniería e investigación necesarios para crear una red neuronal de este tipo seguirá aumentando.
Entonces, ** incluso si existen modelos de código abierto, serán cada vez menos realizados por un pequeño grupo de investigadores e ingenieros dedicados, será solo una empresa, una gran empresa (contribuyendo al código abierto). **
Él mismo:
Creo que esta es una pregunta muy justa e importante. La parte más difícil de nuestro trabajo es equilibrar el enorme potencial que ofrece la inteligencia artificial con los graves riesgos asociados con ella. Necesitamos tomarnos un tiempo para discutir por qué enfrentamos estos riesgos y por qué existen en primer lugar.
Creo que las cosas se ven mejor cuando miramos hacia atrás al nivel de vida actual y nuestra mayor tolerancia hacia los humanos. En comparación con hace 500 o 1000 años, las condiciones de vida de la gente han mejorado mucho. Nos preguntamos, ¿te imaginas a la gente viviendo en la pobreza extrema? ¿Te imaginas a las personas que sufren de enfermedades? ¿Te imaginas una situación en la que todos no estén bien educados? Estas son las realidades de los tiempos bárbaros.
**Aunque la IA presenta algunos riesgos, también vemos su potencial para mejorar nuestras vidas, hacer avanzar la investigación científica y resolver problemas globales. **
Necesitamos continuar desarrollando la IA de manera responsable, con medidas regulatorias implementadas para garantizar que las preocupaciones éticas y de seguridad se aborden adecuadamente. Nuestro objetivo es hacer de la inteligencia artificial una herramienta para el progreso humano, no una amenaza. Esto requiere nuestros esfuerzos conjuntos, incluida la participación de la comunidad técnica, el gobierno y todas las partes de la sociedad, para establecer un marco sostenible y ético para el desarrollo de la inteligencia artificial.
Cómo hacerlo, también creo que es como un progreso imparable. La tecnología no se detiene, sigue evolucionando. Entonces, como una gran empresa, tenemos que descubrir cómo administrar los riesgos que eso conlleva.
Parte de la razón es que el riesgo y el enfoque requerido para abordarlo son extraordinarios. Tuvimos que crear un marco diferente a las estructuras tradicionales. Tenemos un tope de ganancias y creo que los incentivos son un factor importante. Si diseña los incentivos correctos, a menudo puede conducir al comportamiento que desea.
Así que tratamos de asegurarnos de que todo funcione bien y no genere más o menos ganancias. No tenemos una estructura de incentivos como una empresa como Facebook, lo que creo que es brillante, la gente de Facebook tiene una estructura de incentivos, pero esa estructura tiene algunos desafíos.
Tratamos de acumular experiencia a través de AGI. Como Ilya mencionó a menudo, inicialmente tratamos de experimentar AGI cuando comenzamos la empresa y posteriormente construimos la estructura de ganancias. Por lo tanto, debemos lograr un equilibrio entre los requisitos de recursos informáticos y centrarnos en la misión. Uno de los temas que discutimos es qué tipo de estructura nos permite abrazar la regulación con entusiasmo, incluso cuando más nos duele.
Ahora es el momento,** estamos impulsando la regulación a nivel mundial que tendrá el mayor impacto en nosotros. **Por supuesto que seguimos las reglas, creo que cuando las personas están en riesgo es más fácil que se comporten bien, es más fácil que busquen un propósito. Así que creo que los propietarios de estas empresas líderes lo están sintiendo ahora, y los verás reaccionar de manera diferente a las empresas de redes sociales. Creo que todas las dudas e inquietudes están justificadas. Luchamos con este problema todos los días y no hay una respuesta fácil.
Ilia：
La brecha entre los modelos que mencionaste es de hecho un problema.
Quiero decir, ahora tenemos GPT-4, sabes que estamos entrenando, tienes acceso a GPT-4,** y realmente estamos trabajando en el próximo modelo futuro. **
Tal vez pueda describir esta brecha de la siguiente manera: a medida que continuamos construyendo y mejorando los modelos de IA con capacidades mejoradas, existe una brecha más grande que requiere períodos y tiempo de prueba más prolongados. Trabajamos con el equipo para comprender las limitaciones del modelo y todas las formas que conoces, utilízalo tanto como sea posible, pero también ampliamos gradualmente el modelo.
Por ejemplo, ahora GPT-4 tiene capacidades de reconocimiento visual y usted (la versión que está utilizando) no ha iniciado esta función porque el trabajo final no se ha completado. Pero pronto lo lograremos. Entonces creo que eso responde a su pregunta, tal vez no muy lejos en el futuro.
*Nota: el basilisco de Roko es una alusión a una discusión en línea y un experimento mental que involucra hipótesis sobre la superinteligencia futura. *
*Se dice que esta superinteligencia puede obtener información a través de viajes en el tiempo u otros medios para que las personas le causen dolor y castiguen a quienes no ayudaron a lograr su nacimiento. Esta alusión plantea así un dilema ético: si se debe apoyar y promover ahora el desarrollo de la superinteligencia para evitar posibles castigos en el futuro. *
Ilia：
Si bien el basilisco de Rocco no es algo que nos preocupe particularmente, definitivamente estamos muy preocupados por la superinteligencia.
Probablemente no todos, ni siquiera todos en la audiencia entienden lo que queremos decir con superinteligencia.
A lo que nos referimos es a la posibilidad de construir algún día una computadora, un grupo de computadoras en forma de GPU, que sea más inteligente que nadie y capaz de hacer ciencia e investigación más rápido que grandes equipos de científicos e ingenieros experimentados. .
Es una locura, y va a tener un gran impacto.
Puede diseñar la próxima versión del sistema de IA y construir una IA muy poderosa. Así que nuestra posición es que **la superinteligencia tiene efectos de gran alcance, puede tener efectos muy positivos, pero también es muy peligrosa y debemos tener cuidado con ella. **
Aquí es donde entra en juego el enfoque del OIEA (Agencia Internacional de Energía Atómica) que mencionaste para los sistemas de vanguardia y superinteligencia muy avanzados en el futuro. Necesitamos investigar mucho para aprovechar el poder de una superinteligencia que coincida con nuestras expectativas, para nuestro beneficio y para el beneficio de la humanidad.
Esta es nuestra posición sobre la superinteligencia, que es el último desafío de superinteligencia que enfrenta la humanidad.
Mirando hacia atrás en la historia evolutiva de los humanos, un replicador unicelular apareció hace unos 4 mil millones de años. Luego, durante miles de millones de años, surgió una variedad de diferentes organismos unicelulares. Hace unos mil millones de años, comenzó a surgir vida multicelular. Hace cientos de millones de años, los reptiles aparecieron en la tierra. Los mamíferos aparecieron hace unos 60 millones de años. Hace aproximadamente 1 millón de años, aparecieron los primates, seguidos por la aparición del Homo sapiens. 10.000 años después, apareció la escritura. Luego vino la Revolución Agrícola, la Revolución Industrial y la Revolución Tecnológica. Ahora, finalmente tenemos AGI, la final de la superinteligencia y nuestro último desafío.
Él mismo:
Creo que estudiar informática es valioso de todos modos.
Aunque casi nunca escribo código,** considero que estudiar informática es una de las mejores cosas que he hecho. Me enseñó a pensar y resolver problemas, habilidades que son muy útiles en cualquier campo. **
Incluso si el trabajo de un programador de computadoras se ve diferente dentro de 10 a 15 años, aprender a aprender es una de las habilidades más importantes, que incluye aprender cosas nuevas rápidamente, anticipar tendencias futuras, ser adaptable y resistente, comprender las necesidades de los demás y cómo ser útil.
Entonces, no hay duda de que la naturaleza del trabajo cambiará, pero no puedo imaginar un mundo donde las personas no se tomen el tiempo para hacer algo que cree valor para los demás y todos los beneficios que conlleva. Tal vez en el futuro nos importe quién tiene la galaxia más genial, pero ciertas cosas buenas (como la creación de valor) no cambiarán.
Ilia：
Quiero decir, de la mejor manera posible.