Si bien Altman pide la regulación del futuro de la IA, no cree que el modelo actual sea peligroso y cree que sería un gran error regularlo o prohibirlo.
·Los datos internos de OpenAI muestran que las leyes de escala del rendimiento del modelo (leyes de escala) todavía están vigentes, hacer que el modelo sea más grande seguirá produciendo rendimiento.
Fuente de la imagen: Generada por la herramienta de IA Unbounded
La semana pasada, más de 20 desarrolladores, incluido el director ejecutivo de OpenAI, Sam Altman, y el director general de la plataforma de desarrollo de inteligencia artificial HumanLoop, Raza Habib, celebraron una reunión a puertas cerradas para discutir la API (interfaz de programación de aplicaciones) de OpenAI y los planes de productos. Unos días después, Raza Habibi publicó un resumen detallado de los aspectos más destacados de la reunión.
En la discusión, Altman admitió con mucha franqueza que OpenAI actualmente está limitado por la GPU (unidad de procesamiento de gráficos) y habló sobre el plan de código abierto de GPT-3, la principal prioridad actual de OpenAI y el impacto social de la inteligencia artificial. Si bien Altman pide que se regule el futuro de la IA, no considera que el modelo actual sea peligroso.
Altman también dijo que los datos internos de OpenAI muestran que la ley de que el rendimiento del modelo es proporcional a la escala sigue siendo válida, es decir, cuanto más grande es el modelo, más fuerte es el rendimiento. OpenAI continuará intentando hacer modelos más grandes, pero probablemente solo duplicarán o triplicarán su tamaño cada año, no por muchos órdenes de magnitud.
Actualmente severamente limitado por la GPU
Un tema recurrente a lo largo de la discusión fue que la fuerte dependencia actual de OpenAI en las GPU ha retrasado muchos de sus planes a corto plazo.
OpenAI recibió la mayoría de las quejas de los usuarios sobre la confiabilidad y la velocidad de la API. Altman entendió sus preocupaciones y explicó que gran parte del problema se debió a la escasez de recursos de GPU.
La función de contexto de tokens de 32k que anteriormente admitía ChatGPT no se puede extender a más personas, y OpenAI aún tiene algunos problemas por resolver, por lo que, aunque es posible que pronto tengan una ventana de contexto de tokens de 100k-1M, aún deben obtenerse en investigación. avance.
La API de ajuste fino también está actualmente limitada por los recursos de la GPU. Todavía no han utilizado métodos de ajuste fino eficientes como adaptadores o LoRa (dos métodos de ajuste fino comunes para modelos grandes), por lo que la operación y gestión de ajuste fino requiere muchos recursos computacionales. Habrá mejores formas de afinar en el futuro. Incluso podrían albergar un mercado para modelos aportados por la comunidad.
El aprovisionamiento de capacidad dedicada también está limitado por los recursos de la GPU. OpenAI proporciona capacidad dedicada para clientes con necesidades privadas, lo que les permite ejecutar datos privados en un espacio dedicado. Para acceder a este servicio, los clientes deben comprometerse a un anticipo de $100,000.
Hoja de ruta de OpenAI
Sam compartió una hoja de ruta tentativa a corto plazo para la API de OpenAI.
En 2023, la primera tarea es lograr un GPT-4 más económico y rápido; segundo, una ventana de contexto más larga: en un futuro cercano, la ventana de contexto puede alcanzar hasta 1 millón de tokens; tercero, la API de ajuste fino se expandirá al último modelo, pero la forma específica estará determinada por las necesidades reales de los desarrolladores, cuarto, una API con estado: al llamar a la API de chat hoy, es necesario pasar repetidamente el mismo historial de conversación y pagar los mismos tokens repetidamente. , habrá una versión de la API que recuerde el historial de conversaciones.
En 2024, se abrirán capacidades multimodales. Cuando se lanzó GPT-4, demostró poderosas capacidades multimodales, pero hasta que las GPU estén satisfechas, esta capacidad no se puede extender a todos.
Muchos desarrolladores están interesados en acceder a los complementos de ChatGPT a través de la API, pero Altman no cree que estos complementos se lancen a corto plazo. Además de navegar, el sistema de complementos aún no ha encontrado PMF (Product Market Fit, el mejor ajuste entre producto y mercado).
Altman señaló que muchas personas piensan que quieren que su aplicación esté dentro de ChatGPT, pero lo que realmente quieren es ChatGPT dentro de la aplicación.
Altman dijo que OpenAI no lanzará más productos que ChatGPT.
Dijo que, por convención, una gran plataforma tendrá una aplicación excelente, y ChatGPT hará que esta aplicación rompa récords. La visión de ChatGPT es ser un asistente súper inteligente para el trabajo, pero hay muchos otros casos de uso de GPT que OpenAI no tocará.
Aún se aplican las leyes de escala
Si bien Altman pide la regulación del futuro de la IA, no cree que el modelo actual sea peligroso y cree que sería un gran error regularlo o prohibirlo.
Reiteró su creencia en la importancia del código abierto y dijo que OpenAI está considerando hacer que GPT-3 sea de código abierto. La razón por la que no ha sido de código abierto es porque sienten que no muchas personas y empresas tienen la capacidad de administrar adecuadamente un modelo de lenguaje tan grande.
Muchos artículos recientes han citado a Altman diciendo que "la era de los modelos gigantes de IA ha terminado", pero esto no refleja con precisión su significado original. Dijo que los datos internos de OpenAI muestran que las leyes de escala del rendimiento del modelo (leyes de escala) todavía están vigentes, hacer que el modelo sea más grande seguirá produciendo rendimiento. De hecho, la tasa de escalado es insostenible, ya que OpenAI ha ampliado el modelo millones de veces en solo unos pocos años, y continuar haciéndolo en el futuro no es sostenible. Eso no significa que OpenAI no seguirá intentando hacer modelos más grandes, solo significa que probablemente solo se duplicarán o triplicarán cada año, en lugar de muchos órdenes de magnitud.
El hecho de que las leyes de escalamiento continúen vigentes tiene implicaciones importantes para los plazos de desarrollo de AGI (inteligencia general artificial), dijo Altman. La ley de escala asume que probablemente ya tengamos la mayoría de las partes necesarias para construir AGI, y que la mayor parte del trabajo restante será escalar los métodos existentes a modelos más grandes y conjuntos de datos más grandes. Si la era de las leyes de escalamiento ha terminado, probablemente deberíamos esperar que AGI esté muy lejos. El hecho de que las leyes de escalamiento continúen funcionando fuertemente sugiere un cronograma corto para lograr el AGI.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
La última revelación de Altman: hay una escasez urgente de GPU y planes para abrir GPT-3 de código abierto y multimodalidad el próximo año
Fuente: El Papel
Reportero Shao Wen
Si bien Altman pide la regulación del futuro de la IA, no cree que el modelo actual sea peligroso y cree que sería un gran error regularlo o prohibirlo.
·Los datos internos de OpenAI muestran que las leyes de escala del rendimiento del modelo (leyes de escala) todavía están vigentes, hacer que el modelo sea más grande seguirá produciendo rendimiento.
La semana pasada, más de 20 desarrolladores, incluido el director ejecutivo de OpenAI, Sam Altman, y el director general de la plataforma de desarrollo de inteligencia artificial HumanLoop, Raza Habib, celebraron una reunión a puertas cerradas para discutir la API (interfaz de programación de aplicaciones) de OpenAI y los planes de productos. Unos días después, Raza Habibi publicó un resumen detallado de los aspectos más destacados de la reunión.
En la discusión, Altman admitió con mucha franqueza que OpenAI actualmente está limitado por la GPU (unidad de procesamiento de gráficos) y habló sobre el plan de código abierto de GPT-3, la principal prioridad actual de OpenAI y el impacto social de la inteligencia artificial. Si bien Altman pide que se regule el futuro de la IA, no considera que el modelo actual sea peligroso.
Altman también dijo que los datos internos de OpenAI muestran que la ley de que el rendimiento del modelo es proporcional a la escala sigue siendo válida, es decir, cuanto más grande es el modelo, más fuerte es el rendimiento. OpenAI continuará intentando hacer modelos más grandes, pero probablemente solo duplicarán o triplicarán su tamaño cada año, no por muchos órdenes de magnitud.
Actualmente severamente limitado por la GPU
Un tema recurrente a lo largo de la discusión fue que la fuerte dependencia actual de OpenAI en las GPU ha retrasado muchos de sus planes a corto plazo.
OpenAI recibió la mayoría de las quejas de los usuarios sobre la confiabilidad y la velocidad de la API. Altman entendió sus preocupaciones y explicó que gran parte del problema se debió a la escasez de recursos de GPU.
La función de contexto de tokens de 32k que anteriormente admitía ChatGPT no se puede extender a más personas, y OpenAI aún tiene algunos problemas por resolver, por lo que, aunque es posible que pronto tengan una ventana de contexto de tokens de 100k-1M, aún deben obtenerse en investigación. avance.
La API de ajuste fino también está actualmente limitada por los recursos de la GPU. Todavía no han utilizado métodos de ajuste fino eficientes como adaptadores o LoRa (dos métodos de ajuste fino comunes para modelos grandes), por lo que la operación y gestión de ajuste fino requiere muchos recursos computacionales. Habrá mejores formas de afinar en el futuro. Incluso podrían albergar un mercado para modelos aportados por la comunidad.
El aprovisionamiento de capacidad dedicada también está limitado por los recursos de la GPU. OpenAI proporciona capacidad dedicada para clientes con necesidades privadas, lo que les permite ejecutar datos privados en un espacio dedicado. Para acceder a este servicio, los clientes deben comprometerse a un anticipo de $100,000.
Hoja de ruta de OpenAI
Sam compartió una hoja de ruta tentativa a corto plazo para la API de OpenAI.
En 2023, la primera tarea es lograr un GPT-4 más económico y rápido; segundo, una ventana de contexto más larga: en un futuro cercano, la ventana de contexto puede alcanzar hasta 1 millón de tokens; tercero, la API de ajuste fino se expandirá al último modelo, pero la forma específica estará determinada por las necesidades reales de los desarrolladores, cuarto, una API con estado: al llamar a la API de chat hoy, es necesario pasar repetidamente el mismo historial de conversación y pagar los mismos tokens repetidamente. , habrá una versión de la API que recuerde el historial de conversaciones.
En 2024, se abrirán capacidades multimodales. Cuando se lanzó GPT-4, demostró poderosas capacidades multimodales, pero hasta que las GPU estén satisfechas, esta capacidad no se puede extender a todos.
Muchos desarrolladores están interesados en acceder a los complementos de ChatGPT a través de la API, pero Altman no cree que estos complementos se lancen a corto plazo. Además de navegar, el sistema de complementos aún no ha encontrado PMF (Product Market Fit, el mejor ajuste entre producto y mercado).
Altman señaló que muchas personas piensan que quieren que su aplicación esté dentro de ChatGPT, pero lo que realmente quieren es ChatGPT dentro de la aplicación.
Altman dijo que OpenAI no lanzará más productos que ChatGPT.
Dijo que, por convención, una gran plataforma tendrá una aplicación excelente, y ChatGPT hará que esta aplicación rompa récords. La visión de ChatGPT es ser un asistente súper inteligente para el trabajo, pero hay muchos otros casos de uso de GPT que OpenAI no tocará.
Aún se aplican las leyes de escala
Si bien Altman pide la regulación del futuro de la IA, no cree que el modelo actual sea peligroso y cree que sería un gran error regularlo o prohibirlo.
Reiteró su creencia en la importancia del código abierto y dijo que OpenAI está considerando hacer que GPT-3 sea de código abierto. La razón por la que no ha sido de código abierto es porque sienten que no muchas personas y empresas tienen la capacidad de administrar adecuadamente un modelo de lenguaje tan grande.
Muchos artículos recientes han citado a Altman diciendo que "la era de los modelos gigantes de IA ha terminado", pero esto no refleja con precisión su significado original. Dijo que los datos internos de OpenAI muestran que las leyes de escala del rendimiento del modelo (leyes de escala) todavía están vigentes, hacer que el modelo sea más grande seguirá produciendo rendimiento. De hecho, la tasa de escalado es insostenible, ya que OpenAI ha ampliado el modelo millones de veces en solo unos pocos años, y continuar haciéndolo en el futuro no es sostenible. Eso no significa que OpenAI no seguirá intentando hacer modelos más grandes, solo significa que probablemente solo se duplicarán o triplicarán cada año, en lugar de muchos órdenes de magnitud.
El hecho de que las leyes de escalamiento continúen vigentes tiene implicaciones importantes para los plazos de desarrollo de AGI (inteligencia general artificial), dijo Altman. La ley de escala asume que probablemente ya tengamos la mayoría de las partes necesarias para construir AGI, y que la mayor parte del trabajo restante será escalar los métodos existentes a modelos más grandes y conjuntos de datos más grandes. Si la era de las leyes de escalamiento ha terminado, probablemente deberíamos esperar que AGI esté muy lejos. El hecho de que las leyes de escalamiento continúen funcionando fuertemente sugiere un cronograma corto para lograr el AGI.