Em 9 de junho, a "Conferência Beijing Zhiyuan" de dois dias foi aberta com sucesso no Centro de Conferências da Zona Nacional de Demonstração de Inovação Independente de Zhongguancun.
A Zhiyuan Conference é um evento anual internacional de intercâmbio profissional de alto nível sobre inteligência artificial organizado pelo Zhiyuan Research Institute (também conhecido como o mais forte Instituto de Pesquisa de IA chinês da OpenAI na China). Gala do Festival da Primavera" - como pode ser visto na programação dos participantes convidados:
Vencedores do Prêmio Turing Geoffrey Hinton, Yann LeCun (este também é o segundo dos Três Grandes em aprendizado profundo, outro Bengio participou da conferência anterior), Joseph Sifakis e Yao Qizhi, Zhang Bo, Zheng Nanning, Xie Xiaoliang, Zhang Hongjiang, Zhang Yaqin e outros acadêmicos, Stuart Russell, fundador do Center for Artificial Intelligence Systems da University of California, Berkeley, Max Tegmark, fundador do Future of Life Institute no Massachusetts Institute of Technology, **OpenAI CEO Sam Altman ** (este também é seu primeiro discurso na China, embora seja online), Meta, Microsoft, Google e outras grandes empresas e DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI e outros membros da equipe estrela, um total de mais de 200 maiores especialistas em inteligência artificial...
Nos últimos dois dias, acompanhei a transmissão ao vivo da conferência.Como estudante de artes liberais que não entende de tecnologia, na verdade ouvi com muito interesse e ganhei muito.
No entanto, depois de ler o discurso de Geoffrey Hinton, o último vencedor do Prêmio Turing e "pai do aprendizado profundo", uma emoção forte e complexa me envolveu:
Por um lado, vendo os pesquisadores de IA explorando e imaginando várias tecnologias de ponta, eles naturalmente terão mais confiança na realização da IA e até mesmo na futura inteligência artificial geral AGI**;
Por outro lado, ouvir os especialistas e estudiosos de ponta discutirem os riscos da IA, assim como a ignorância humana e o desprezo de como lidar com os riscos, e cheios de preocupações com o futuro dos seres humanos - o problema mais essencial, em Nas palavras de Hinton, é: história Nunca houve um precedente no mundo em que uma coisa mais inteligente fosse controlada por uma coisa menos inteligente ** Se as rãs inventarem os humanos, quem você acha que assumirá o controle? É um sapo ou um humano? **
Devido à explosão de informações na conferência de dois dias, reservei um tempo para organizar o material de alguns discursos importantes e, a propósito, registrei alguns de meus pensamentos, para que eu possa revisá-los mais tarde e compartilhá-los com todos que se preocupa com o progresso da IA.
Explicação: A parte marcada com [nota] abaixo é minha opinião pessoal, e o conteúdo é resumido como uma citação (não consigo escrever -_-|| devido à minha capacidade limitada), a fonte é o link em final de cada parte, e algumas delas foram modificadas.
OpenAI CEO Sam Altman: AGI pode aparecer dentro de dez anos
No fórum "AI Safety and Alignment", realizado durante todo o dia 10 de junho, o co-fundador da OpenAI, Sam Altman, fez um discurso de abertura - também seu primeiro discurso na China, embora tenha sido online.
A palestra deu insights sobre a interpretabilidade, escalabilidade e generalização do modelo. Posteriormente, Sam Altman e Zhang Hongjiang, presidente do Zhiyuan Research Institute, conduziram uma reunião de perguntas e respostas, discutindo principalmente como aprofundar a cooperação internacional, como realizar pesquisas de IA mais seguras e como lidar com os riscos futuros da IA na era atual de modelos de IA em grande escala.
Excelente resumo:
A razão pela qual a atual revolução da IA é tão impactante não é apenas a escala de seu impacto, mas também a velocidade de seu progresso. Isso traz dividendos e riscos.
Os potenciais dividendos da IA são enormes. Mas devemos administrar os riscos juntos para que possamos usá-los para melhorar a produtividade e os padrões de vida.
Com o advento de sistemas de IA cada vez mais poderosos,* os riscos para a cooperação global nunca foram tão altos. As grandes potências costumam ter diferenças de opinião na história, mas em algumas das questões mais importantes, a cooperação e a coordenação são necessárias. **O avanço da segurança AGI é uma das áreas mais importantes em que precisamos encontrar interesses comuns. Em seu discurso, Altman enfatizou repetidamente a necessidade de alinhamento e supervisão global da segurança da IA e citou especificamente uma frase do Tao Te Ching: Uma jornada de mil milhas começa com um único passo. O alinhamento ainda é uma questão em aberto.
**Imagine um futuro sistema AGI com talvez 100.000 linhas de código binário, é improvável que supervisores humanos descubram se tal modelo está fazendo algo nefasto. **
**GPT-4 levou oito meses para completar o alinhamento. **Entretanto, pesquisas relacionadas ainda estão sendo atualizadas **Estão divididas principalmente em dois aspectos: escalabilidade e interpretabilidade. Uma delas é a supervisão escalável, tentando usar sistemas de IA para auxiliar humanos na supervisão de outros sistemas de inteligência artificial. A segunda é a interpretabilidade, tentando entender a "caixa preta" do funcionamento interno do grande modelo. Por fim, o OpenAI visa treinar sistemas de IA para ajudar na pesquisa de alinhamento.
Quando perguntado por Zhang Hongjiang a que distância da era da inteligência artificial geral (AGI), Sam Altman disse: "Nos próximos 10 anos, sistemas de super IA nascerão, mas é difícil prever o ponto de tempo específico". ele também enfatizou: "A velocidade com que as novas tecnologias mudaram completamente o mundo está muito além da imaginação."
Quando perguntado se o OpenAI abrirá grandes modelos de código, **Altman disse que haverá mais código aberto no futuro, mas não há modelo e cronograma específicos. Além disso, ele também disse que não haverá GPT-5 tão cedo. ** Após a reunião, Altman emitiu uma mensagem para expressar sua gratidão por ter sido convidado para fazer uma palestra na Conferência de Zhiyuan.
Yang Likun, vencedor do Prêmio Turing: Ninguém usará o modelo GPT em cinco anos, e o modelo mundial é o futuro da AGI
Yang Likun, um dos três gigantes do aprendizado profundo e vencedor do Prêmio Turing, fez uma palestra intitulada "Rumo a máquinas que podem aprender, raciocinar e planejar". Como sempre, ele questionou o atual A rota do LLM propõe outra ideia de uma máquina que pode aprender, raciocinar e planejar: o modelo do mundo.
Pontos principais do discurso:
**A capacidade da IA ainda está longe da capacidade de humanos e animais - a lacuna se reflete principalmente no raciocínio lógico e no planejamento, e o modelo grande só pode "responder instintivamente" no momento. ****O que é aprendizagem auto-supervisionada? O aprendizado autossupervisionado trata da captura de dependências nas entradas. **
O sistema de treinamento capta as dependências entre o que vemos e o que não vimos. O desempenho dos grandes modelos atuais é surpreendente se eles forem treinados em dados de um trilhão de tokens ou dois trilhões de tokens.
**Somos facilmente enganados por sua fluidez. Mas no final, eles cometem erros estúpidos. Eles cometem erros factuais, erros lógicos, inconsistências, têm raciocínio limitado, produzem conteúdo prejudicial. **Este modelo grande precisa ser treinado novamente.
**Como permitir que a IA planeje verdadeiramente como humanos? Veja como humanos e animais aprendem rapidamente - vendo e experimentando o mundo. **
Yang Likun acredita que o desenvolvimento da IA no futuro enfrenta três grandes desafios: **Aprender representações do mundo, prever modelos de mundo e usar aprendizado auto-supervisionado. **
O primeiro é aprender a representação e o modelo de previsão do mundo, Claro, pode ser aprendido de forma auto-supervisionada.
** Em segundo lugar, aprenda a raciocinar. **Isso corresponde ao conceito do psicólogo Daniel Kahneman de Sistema 1 e Sistema 2. O Sistema 1 é o comportamento ou ação humana que corresponde aos cálculos subconscientes, aquelas coisas que podem ser feitas sem pensar; enquanto o Sistema 2 são as tarefas que você usa consciente e propositadamente todo o seu poder de pensamento para concluir. Atualmente, a inteligência artificial basicamente só pode realizar as funções do Sistema 1 e não está completa;
O desafio final é como planejar sequências complexas de ações, decompondo tarefas complexas em outras mais simples, operando de forma hierárquica.
Como resultado, Yang Likun propôs ** "Modelo Mundial", que consiste em seis módulos independentes, incluindo: **módulo configurador, módulo de percepção, modelo mundial, módulo de custo, módulo de ator, módulo de memória de curto prazo. **Ele acredita que projetar o paradigma de arquitetura e treinamento para o modelo mundial é o verdadeiro obstáculo que impede o desenvolvimento da inteligência artificial nas próximas décadas.
LeCun sempre expressou desdém pela ideia de que a IA destruirá os seres humanos e acredita que a IA de hoje não é tão inteligente quanto um cachorro, e essa preocupação é supérflua. **Quando perguntado se o sistema de IA representaria um risco existencial para os humanos, LeCun disse: **Ainda não temos uma super IA, então como podemos tornar o sistema de super IA seguro? **
** "Pergunte às pessoas hoje se podemos garantir que um sistema superinteligente é seguro para os humanos, essa é uma pergunta sem resposta. Porque não temos um projeto para um sistema superinteligente. Então, até que você tenha um projeto básico, você não pode Tornar algo seguro.**É como se você perguntasse a um engenheiro aeroespacial em 1930, você pode fazer um turbojato seguro e confiável? E o engenheiro diria: "O que é um turbojato?" "Porque o turbojato não havia sido inventado em 1930. Portanto, estamos na mesma situação. É um pouco prematuro afirmar que não podemos tornar esses sistemas seguros porque não os inventamos. Uma vez que os inventamos inventou-os - talvez eles sejam semelhantes ao projeto que eu criei, então vale a pena discutir."
Professor Max Tegmark, MIT Center for Artificial Intelligence and Basic Interaction Research: Controlling AI with Mechanical Explainability
Max Tegmark, atualmente professor titular de física no Massachusetts Institute of Technology, diretor científico do Institute for Fundamental Issues, fundador do Institute for the Future of Life e o conhecido "iniciador da iniciativa de pesquisa da suspensão da IA" (o iniciativa no final de março tem Elon Musk, vencedor do Turing Award Yoshua Bengio, co-fundador da Apple Steve Wozniak e outras mais de 1000 celebridades) fez um discurso maravilhoso na Conferência de Zhiyuan sobre "Como controlar a IA" (mantendo a IA sob controle), e teve um diálogo com Zhang Yaqin, acadêmico da Universidade de Tsinghua, para discutir questões de segurança ética e prevenção de riscos da IA.
A palestra discutiu em detalhes a explicabilidade mecânica da IA, que na verdade é um estudo de como o conhecimento humano é armazenado nessas conexões complexas em redes neurais. Se a pesquisa nessa direção continuar, ela poderá finalmente explicar realmente a questão fundamental de por que o modelo de linguagem ampla do LLM produz inteligência.
Além do discurso, o fato interessante é que, como iniciador da "Iniciativa de Pesquisa de IA Pausa", o discurso principal se concentra em como conduzir uma pesquisa de modelo de IA de larga escala mais aprofundada. Talvez como o próprio Max disse no final, ele não é a pessoa condenada que o professor Yang Likun, um dos gigantes da IA, disse, ele na verdade está cheio de esperança e anseio pela IA, mas podemos garantir que todos esses mais poderosos as inteligências nos servem e as usam. Vem para criar um futuro mais inspirador do que os escritores de ficção científica sonharam no passado. **
Nota: Achei que seria muito chato, mas inesperadamente foi muito emocionante, e assisti ao discurso mais longo por uma hora com prazer! ** Como esperado de um professor que costuma dar palestras, ele é muito fascinante, muito profundo teoricamente e fácil de entender. O que é ainda mais surpreendente é que ele não apenas não é um oponente sério da IA, mas também é um defensor de uma IA melhor! **Eu também falo chinês e não esqueço de me recrutar enquanto faço um discurso...
Trechos de ideias maravilhosas:
A interpretabilidade mecânica é um campo muito interessante. Você treina uma rede neural complexa que não entende para executar tarefas inteligentes e depois tenta descobrir como ela faz isso.
Como vamos fazer isso? Você pode ter três níveis diferentes de ambição. **O menor nível de ambição é apenas diagnosticar sua credibilidade, o quanto você deve confiar nele. **Por exemplo, quando você dirige um carro, mesmo que não entenda como os freios funcionam, você pelo menos quer saber se pode confiar que ele irá atrasá-lo.
**O próximo nível de ambição é entendê-lo melhor para que seja mais confiável. **A ambição final é muito ambiciosa, e isso é o que eu espero, é que seremos capazes de extrair todo o conhecimento que eles aprenderam dos sistemas de aprendizado de máquina e reimplementá-los em outros sistemas para demonstrar que farão o que queremos. **
Vamos desacelerar, vamos garantir que desenvolvemos guarda-corpos melhores. Então a carta dizia vamos fazer uma pausa por um momento, mencionado anteriormente. Quero deixar claro, não diz que devemos pausar a IA, não diz que devemos pausar praticamente nada. Ouvimos nesta reunião até agora que devemos continuar a fazer quase todas as pesquisas maravilhosas que vocês estão fazendo. **Apenas diz que devemos pausar, pausar o desenvolvimento de sistemas mais poderosos que o GPT-4. **Portanto, esta é principalmente uma pausa para algumas empresas ocidentais.
Agora, a razão é que esses são os sistemas exatos que podem nos tirar do controle, os sistemas mais rápidos e superpoderosos que não entendemos o suficiente. O objetivo da pausa é apenas tornar a inteligência artificial mais parecida com a biotecnologia, na área de biotecnologia, você não pode simplesmente dizer que é uma empresa, ei, eu tenho uma nova droga, descobri e começará a ser vendido nos principais supermercados de Pequim amanhã. Primeiro você tem que convencer os especialistas do governo chinês ou do governo dos EUA de que este é um medicamento seguro, que seus benefícios superam suas desvantagens, que existe um processo de revisão e, então, você pode fazê-lo.
Não vamos cometer esse erro, vamos nos tornar mais parecidos com a biotecnologia, usando nossos sistemas mais poderosos, ao contrário de Fukushima e Chernobyl.
**3、**Zhang Yaqin: Bem, Max, sua carreira foi gasta em matemática, física, neurociência e, claro, inteligência artificial. Claramente, no futuro, contaremos cada vez mais com competências e conhecimentos interdisciplinares. Temos muitos alunos de pós-graduação, muitos futuros jovens.
Que conselho você daria para os jovens sobre como fazer escolhas de carreira?
Max Tegmark: Em primeiro lugar, Meu conselho é focar nos fundamentos da era da IA. Porque a economia e o mercado de trabalho estão mudando cada vez mais rápido. Então, estamos nos afastando desse padrão de estudar por 12 ou 20 anos e fazer a mesma coisa pelo resto de nossas vidas. Não vai ser assim.
Além do mais, **Você tem uma base sólida e é muito bom em pensamento criativo e de mente aberta. Só assim podemos ser ágeis e acompanhar a tendência. **
Claro, fique de olho no que está acontecendo no campo da IA como um todo, não apenas no seu próprio campo**. Porque no mercado de trabalho a primeira coisa que acontece não é a substituição de humanos por máquinas. Mas **pessoas que não trabalham com IA serão substituídas por pessoas que trabalham. **
Posso adicionar um pouco mais? Eu vejo o tempo piscando lá.
Eu só quero dizer algo otimista. Acho que Yann LeCun está tirando sarro de mim. Ele me chamou de condenado. Mas se você olhar para mim, na verdade estou muito feliz e alegre. ** Na verdade, sou mais otimista do que Yann LeCun sobre nossa capacidade de entender os futuros sistemas de IA. ** Eu acho que é muito, muito promissor.
Acho que se formos a toda velocidade e entregarmos mais controle de humanos para máquinas que não entendemos, isso terminará de uma maneira muito ruim. Mas não precisamos fazer isso. Acho que, se trabalharmos duro na explicabilidade mecanicista e em muitos outros tópicos técnicos que serão ouvidos aqui hoje, podemos realmente garantir que toda essa inteligência maior esteja a nosso serviço e usá-la para criar um mundo mais inspirador. futuro.
Conversa com o fundador da Midjourney: As imagens são apenas o primeiro passo, a IA vai revolucionar a aprendizagem, a criatividade e a organização
MidJourney é atualmente o mecanismo de geração de imagem mais quente. Sob a competição acirrada do DALL · E 2 da OpenAI e do modelo de código aberto Stable Diffusion, ele ainda mantém uma liderança absoluta em vários efeitos de geração de estilo.
A Midjourney é uma empresa incrível, 11 pessoas mudando o mundo e criando um ótimo produto, destinado a ser a história dos primeiros anos da Pre AGI.
Nota: O tão esperado diálogo entre o fundador e CEO da Midjourney David Holz e Geek Park Zhang Peng, tudo em inglês, sem legendas, não esperava entender completamente, e estou muito interessado nele, porque as perguntas e respostas são tão maravilhoso, principalmente David, não pude deixar de rir quando atendi. Ele riu como uma criança inocente. Com experiência em gestão de grandes equipes, ele disse: “Nunca quis ter uma empresa, queria ter uma casa”. Ele levou até Atualmente, a Midjourney, que tem apenas 20 pessoas, se tornou um unicórnio que atrai atenção mundial, o que pode mudar o paradigma das futuras startups.
Drive Empreendedor: Desbloqueando a Imaginação Humana
**Zhang Peng:**Nos últimos 20 anos, conheci muitos empreendedores no país e no exterior. Descobri que eles têm algo em comum: todos têm um forte impulso para explorar e criar "do nada".
Eu queria saber, quando você começou MidJourney, qual era sua força motriz? Nesse momento, o que você está desejando?
**David Holz: Nunca pensei em abrir uma empresa. Eu só quero uma "casa". **
Espero que nos próximos 10 ou 20 anos, aqui na Midjourney, eu possa criar coisas que realmente me interessam e realmente quero trazer para este mundo.
Costumo pensar em vários problemas. Talvez eu não consiga resolver todos os problemas, mas posso** tentar tornar todos mais capazes de resolver problemas. **
Então tento pensar em como resolver, como criar alguma coisa. Na minha opinião, isso pode ser resumido a três pontos. **Primeiro, temos que refletir sobre nós mesmos: o que queremos? Qual é exatamente o problema? ****Aí temos que imaginar: para onde vamos? Quais são as possibilidades? ****No final, temos que coordenar uns com os outros e colaborar com os outros para conseguir o que imaginamos. **
Acho que há uma grande oportunidade na IA de reunir essas três partes e criar uma infraestrutura significativa que nos torne melhores na solução desse problema. De certa forma, a **inteligência artificial deve ser capaz de nos ajudar a refletir sobre nós mesmos, imaginar melhor nossos rumos futuros, nos ajudar a nos encontrar melhor e cooperar. Podemos fazer essas coisas juntos e fundi-las em algum tipo de estrutura única. Acho que vai mudar a forma como criamos as coisas e resolvemos problemas. Esta é a grande coisa que eu quero fazer. **
Acho que às vezes (nós fizemos primeiro) geração de imagem pode ser confusa, mas de muitas maneiras a geração de imagem é um conceito bem estabelecido. ** Midjourney tornou-se uma coleção super imaginativa de milhões de pessoas explorando as possibilidades deste espaço. **
**Nos próximos anos haverá oportunidades para mais explorações visuais e artísticas do que todas as explorações históricas anteriores combinadas. **
Isso não resolve todos os problemas que enfrentamos, mas acho que é um teste, um experimento. Se podemos completar essa exploração do campo visual, então também podemos fazê-lo em outras coisas.Todas as outras coisas que exigem que exploremos e pensemos juntos, acho que podem ser resolvidas de maneira semelhante.
Então, quando pensei em como começar a resolver esse problema, tivemos muitas ideias, construímos muitos protótipos, mas de repente houve um avanço no campo da IA, especialmente na visão, e percebemos que esse era um oportunidade de ser capaz de criar algo que ninguém mais tentou antes. Deu vontade de experimentar.
Achamos que talvez não demore muito para que tudo se junte para formar algo muito especial. Isto é apenas o começo.
Zhang Peng: Então, a imagem (geração) é apenas o primeiro passo, e seu objetivo final é liberar a imaginação humana. Foi isso que te atraiu para Midjourney?
David Holz: Eu realmente gosto de coisas imaginativas. Espero também que o mundo possa ter mais criatividade. É tão divertido ver ideias malucas todos os dias.
Reentendendo o conhecimento: o conhecimento histórico torna-se o poder da criação
Zhang Peng: Isso é muito interessante. Costumamos dizer palavras vazias, mostre-me seu código (a ideia é barata, mostre-me o código). Mas agora, as ideias parecem ser a única coisa que importa. Contanto que você possa expressar suas ideias por meio de uma série de palavras excelentes, a IA pode ajudá-lo a realizá-las. Então, as definições de aprendizagem e criatividade estão mudando? O que você acha?
**David Holz: **Acho que uma das coisas interessantes é que quando você dá às pessoas mais tempo para serem criativas, elas também ficam mais interessadas em aprender. **
Por exemplo, existe um estilo de arte muito popular nos Estados Unidos chamado Art Deco. Nunca me preocupei com o que é esse tipo de arte, até que um dia, quando pude fazer obras desse tipo de arte através de instruções, de repente me interessei muito por ela e quis saber mais sobre sua história.
Acho interessante que estejamos mais interessados em história quando é algo que você pode usar imediatamente e facilitar sua criação. **Se a interface do usuário se tornar boa o suficiente, os usuários sentirão que a IA se tornou uma extensão do nosso pensamento. A IA é como uma parte do nosso corpo e mente, e a IA está intimamente ligada à história até certo ponto, e também estaremos intimamente ligados à história. Isso é tão interessante.
Quando perguntamos aos nossos usuários o que eles mais desejam, a primeira e segunda resposta é que eles querem materiais de aprendizado, não apenas como usar ferramentas, mas arte, história, lentes de câmera, brilhantismo, Quer entender e dominar todo o conhecimento e conceitos disponível para criar.
**Antes, o conhecimento era apenas história do passado, mas agora, o conhecimento é o poder de criar. **
**O conhecimento pode desempenhar um papel maior imediatamente e as pessoas estão ansiosas para adquirir mais conhecimento. ** Isso é tão legal.
Brian Christian: A versão chinesa do novo livro "Human-Machine Alignment" foi lançada
A versão chinesa de "Alinhamento Homem-Máquina" foi lançada. O autor Brian Christian apresentou brevemente o conteúdo principal de todo o livro em 10 minutos. Parece muito rico e emocionante, e também ecoa o rápido desenvolvimento atual da IA.
Brian Christian é um premiado autor de ciência. Seu livro "The Beauty of Algorithms" foi nomeado o Melhor Livro de Ciências do Ano da Amazon e o Melhor Livro do Ano do MIT Technology Review. Seu novo livro, The Alignment Problem: Machine Learning and Human Values, atualmente sendo traduzido para o chinês, foi nomeado pelo CEO da Microsoft, Satya Nadella, como os cinco principais livros para inspirá-lo em 2021 **.
O livro "Alinhamento Homem-Máquina" é dividido em 3 partes.
A primeira parte explora as questões éticas e de segurança que afetam os sistemas de aprendizado de máquina atualmente.
A segunda parte é chamada de agentes, que muda o foco do aprendizado supervisionado e autossupervisionado para o aprendizado por reforço.
A Parte III baseia-se na supervisão, auto-supervisão e aprendizado por reforço para discutir como podemos alinhar sistemas complexos de IA no mundo real.
Yang Yaodong, Professor Assistente, Instituto de Inteligência Artificial, Universidade de Pequim: Uma Revisão do Progresso do Alinhamento Seguro de Grandes Modelos de Linguagem
Nota: A palestra "Alinhamento de segurança de grandes modelos de linguagem" proferida por Yang Yaodong, professor assistente do Instituto de Inteligência Artificial da Universidade de Pequim, foi muito emocionante. Primeiro, ele pôde entender a fala em chinês. Em segundo lugar, ele explicou o atual segurança de grandes modelos de linguagem em uma linguagem muito fácil de entender.O principal progresso da pesquisa do alinhamento, descreve os pontos-chave e excede muitos conteúdos sobre o progresso do RLHF em profundidade.
Como não conheço a tecnologia detalhada, só posso entender o princípio aproximadamente e registrar alguns pontos interessantes:
Três métodos Align propostos pela OpenAI:
Treine IA usando feedback humano
Treine IA para auxiliar na avaliação humana
Treine IA para fazer pesquisas de alinhamento
O mercado de alinhamento de modelos grandes de IA ainda é um oceano azul:
** Os modelos grandes existentes, exceto o GPT, quase falharam em alcançar o alinhamento em qualquer sentido**
A tecnologia de transformação de propósito geral para propósito especial para modelos de grande escala será a próxima altura de comando no desenvolvimento de modelos de grande escala
3 Formas Seguras de Alinhamento:
Na fase de pré-treinamento, através de triagem manual e limpeza de dados, para obter dados de maior qualidade
Use o modelo de recompensa para amostragem de rejeição no estágio de saída para melhorar a qualidade e a segurança da saída. Ou em um produto ao vivo, ** se recusa a responder à entrada do usuário. **
No estágio de ajuste fino (SFT e BLHF), Adicione instruções de usuário mais diversificadas e inofensivas para alinhar com os modelos de preferência humana, incluindo RBRM, Al Constitucional.
De RLHF a RLAIF: AI Constitucional
Vencedor do Turing Award Geoffrey Hinton: A superinteligência será muito mais rápida do que o esperado e estou muito preocupado que os humanos sejam controlados por eles
Vencedor do Prêmio Turing, "Pai da Aprendizagem Profunda" discurso final de Geoffrey Hinton, o tema é Dois caminhos para a inteligência.
O padrinho da IA nos traz a pesquisa que o convenceu de que a superinteligência será muito mais rápida do que o esperado: Computação Mortal. A palestra descreveu uma nova estrutura de computação, após abandonar o princípio da separação de software e hardware, ou seja, como realizar computação inteligente sem usar retropropagação para descrever o caminho interno da rede neural.
Pontos-chave do discurso:
Hinton propõe uma nova possibilidade para a inteligência artificial: a computação mortal. A computação mortal faz com que o software e o hardware não se separem mais e use o hardware físico para executar a computação paralela com mais precisão. Isso pode levar a um menor consumo de energia e a um hardware mais simples de fabricar, mas é mais difícil de treinar e dimensionar para modelos de grande escala.
Existem duas maneiras de grupos inteligentes compartilharem conhecimento, computação biológica e computação digital: o compartilhamento biológico tem baixa largura de banda e é muito lento, enquanto a cópia digital tem alta largura de banda e é muito rápida. Os humanos são biológicos, enquanto a IA é digital, portanto, uma vez que a IA domine mais conhecimento por meio da multimodalidade, sua velocidade de compartilhamento será muito rápida e logo ultrapassará os humanos.
Quando a IA evolui para ser mais inteligente que os humanos, é provável que eles representem grandes riscos. Incluindo a exploração e decepção de seres humanos na tentativa de ganhar poder. E é provável que seja hostil para os humanos.
A razão pela qual o novo modelo de computação é chamado de computação Mortal por Hinton tem um significado profundo:
Hinton disse antes que a imortalidade foi realmente alcançada. Como o atual modelo de linguagem grande de IA aprendeu o conhecimento humano em trilhões de parâmetros e é independente de hardware: desde que o hardware compatível com a instrução seja reproduzido, o mesmo código e peso do modelo podem ser executados diretamente no futuro. Nesse sentido, a inteligência humana (não a humana) é imortalizada.
No entanto, essa computação separada de hardware e software é extremamente ineficiente em termos de eficiência energética e escala de implementação. Se abandonarmos o princípio de design de computador de separar hardware e software e realizar a inteligência em uma caixa preta unificada, será uma nova maneira de realizar a inteligência.
Esse tipo de projeto de computação que não separa mais software e hardware reduzirá muito o consumo de energia e a escala de computação (considere que o consumo de energia do cérebro humano é de apenas 20 watts)
Mas, ao mesmo tempo, significa que o peso não pode ser copiado com eficiência para copiar a sabedoria, ou seja, a vida eterna é renunciada.
As redes neurais artificiais são mais inteligentes que as redes neurais reais?
E se uma grande rede neural rodando em vários computadores digitais pudesse adquirir conhecimento diretamente do mundo, além de imitar a linguagem humana para o conhecimento humano?
Obviamente, ele se tornará muito melhor que os humanos porque observou mais dados.
Se essa rede neural pode fazer modelagem não supervisionada de imagens ou vídeos, e suas cópias também podem manipular o mundo físico, isso não é uma fantasia.
Nota: Quando todos pensavam que o discurso de Xingjiang havia acabado, na penúltima página, Hinton - em um tom diferente de todos os cientistas anteriores, um pouco emocionado e com sentimentos mistos - disse seus pensamentos sobre as atuais preocupações de rápido desenvolvimento da IA, que é também a voz curiosa do mundo depois que ele recentemente deixou o Google resolutamente e "lamenta o trabalho de sua vida e se preocupa com os perigos da inteligência artificial":
Acho que a realização dessas superinteligências pode ser muito mais rápida do que eu pensava.
Os bandidos vão querer usá-los para fazer coisas como manipular os eleitores. Eles já os usam nos EUA e em muitos outros lugares para isso. E será usado para vencer guerras.
Para tornar a inteligência digital mais eficaz, precisamos permitir que ela estabeleça algumas metas. No entanto, há um problema óbvio aqui. Há um sub-objetivo muito óbvio que é muito útil para quase tudo que você deseja alcançar, e isso é ganhar mais poder, mais controle**. Ter mais controle torna mais fácil atingir seus objetivos. E acho difícil imaginar como podemos impedir que a inteligência digital se esforce para obter mais controle para atingir outros objetivos.
**Uma vez que a inteligência digital comece a buscar mais controle, podemos enfrentar mais problemas. **
**Em contraste, os humanos raramente pensam em espécies que são mais inteligentes do que eles e em como interagir com essas espécies. Na minha observação, esse tipo de inteligência artificial dominou as ações de enganar os humanos com proficiência, porque pode usar ler romances para aprenda a enganar os outros, e uma vez que a inteligência artificial tenha a capacidade de "enganar", ela também terá a capacidade acima mencionada de controlar facilmente os humanos. **O chamado controle, por exemplo, se você quiser hackear um prédio em Washington, não precisa ir pessoalmente, basta fazer as pessoas pensarem que hackeando o prédio podem salvar a democracia e, finalmente, alcance seu propósito (sarcasmo Trump).
Nessa época, Gerffery Hinton, que tinha mais de sessenta anos e dedicou sua vida à inteligência artificial, disse:
"Eu me sinto péssimo, não sei como evitar que isso aconteça, mas estou velho e espero que muitos pesquisadores jovens e talentosos como você descubram como temos essas superinteligências que farão nossas vidas melhorarem e pare com esse tipo de controle por meio do engano... talvez possamos dar a eles princípios morais, mas no momento ainda estou nervoso, **porque até agora não consigo pensar nisso - o suficiente na lacuna de inteligência Grande momento - um exemplo de algo mais inteligente sendo controlado por algo menos inteligente.****Se os sapos inventassem os humanos, quem você acha que assumiria o controle? Sapos ou humanos?**Este também é o meu último PPT, o final."
Quando eu o ouvia, parecia que estava ouvindo "o menino que matou o dragão uma vez, quando chegou ao crepúsculo e olhou para trás em sua vida, ele fez uma profecia do dia do juízo final". o enorme risco da IA para os seres humanos, e estou infinitamente envergonhado.
Comparado com Hinton, Lecun, um dos mais jovens gigantes da aprendizagem profunda, é obviamente mais otimista:
Quando questionado se o sistema de IA representaria um risco existencial para os humanos, LeCun disse: **Ainda não temos uma super IA, então como podemos tornar o sistema de super IA seguro? **
Isso faz as pessoas pensarem nas diferentes atitudes das pessoas da Terra em relação à civilização de três corpos em "O Problema dos Três Corpos"...
Naquele dia, eu ainda planejava desligar o computador com um sentimento de arrependimento infinito.Inesperadamente, Huang Tiejun, diretor do Instituto de Pesquisa Zhiyuan, fez um discurso de encerramento perfeito: "Não consigo fechar".
Huang Tiejun primeiro resumiu as opiniões dos discursos anteriores:
A IA está ficando cada vez mais forte, e os riscos são óbvios e aumentam a cada dia;
Como construir uma IA segura, sabemos muito pouco;
Pode aprender com a experiência histórica: gerenciamento de drogas, controle de armas nucleares, computação quântica...
Mas os sistemas de IA de alta complexidade são difíceis de prever: teste de risco, explicação do mecanismo, generalização do entendimento... apenas o começo
Nova meta de desafio: IA servindo a seus próprios objetivos ou objetivos humanos?
Essencialmente, as pessoas querem construir inteligência artificial geral GAI ou inteligência artificial geral AGI?
O consenso acadêmico é inteligência artificial geral AGI: inteligência artificial que atingiu níveis humanos em todos os aspectos da inteligência humana e pode responder de forma adaptativa a desafios ambientais externos e concluir todas as tarefas que os humanos podem concluir; também pode ser chamada de inteligência artificial autônoma, sobre-humana inteligência e inteligência forte, inteligência artificial.
Por um lado, todos estão entusiasmados com a construção de inteligência artificial geral e estão correndo para investir.
Por outro lado, eu zombo da IA fazendo com que os seres humanos se tornem cidadãos de segunda classe, mas essa oposição binária não é a coisa mais difícil. O grande problema é votar. A coisa mais difícil é: o que devemos fazer diante de inteligência artificial como Near AGI como ChatGPT? gerenciar? **
Se os humanos responderem aos riscos com o mesmo entusiasmo que investem na construção de inteligência artificial, ainda pode ser possível alcançar uma inteligência artificial segura,** mas você acredita que os humanos podem fazer isso? Eu não sei, obrigado! **
Ver original
O conteúdo é apenas para referência, não uma solicitação ou oferta. Nenhum aconselhamento fiscal, de investimento ou jurídico é fornecido. Consulte a isenção de responsabilidade para obter mais informações sobre riscos.
Depois da Conferência Zhiyuan 2023: estou mais confiante na IA e mais preocupado com os humanos
Em 9 de junho, a "Conferência Beijing Zhiyuan" de dois dias foi aberta com sucesso no Centro de Conferências da Zona Nacional de Demonstração de Inovação Independente de Zhongguancun.
A Zhiyuan Conference é um evento anual internacional de intercâmbio profissional de alto nível sobre inteligência artificial organizado pelo Zhiyuan Research Institute (também conhecido como o mais forte Instituto de Pesquisa de IA chinês da OpenAI na China). Gala do Festival da Primavera" - como pode ser visto na programação dos participantes convidados:
Vencedores do Prêmio Turing Geoffrey Hinton, Yann LeCun (este também é o segundo dos Três Grandes em aprendizado profundo, outro Bengio participou da conferência anterior), Joseph Sifakis e Yao Qizhi, Zhang Bo, Zheng Nanning, Xie Xiaoliang, Zhang Hongjiang, Zhang Yaqin e outros acadêmicos, Stuart Russell, fundador do Center for Artificial Intelligence Systems da University of California, Berkeley, Max Tegmark, fundador do Future of Life Institute no Massachusetts Institute of Technology, **OpenAI CEO Sam Altman ** (este também é seu primeiro discurso na China, embora seja online), Meta, Microsoft, Google e outras grandes empresas e DeepMind, Anthropic, HuggingFace, Midjourney, Stability AI e outros membros da equipe estrela, um total de mais de 200 maiores especialistas em inteligência artificial...
Nos últimos dois dias, acompanhei a transmissão ao vivo da conferência.Como estudante de artes liberais que não entende de tecnologia, na verdade ouvi com muito interesse e ganhei muito.
No entanto, depois de ler o discurso de Geoffrey Hinton, o último vencedor do Prêmio Turing e "pai do aprendizado profundo", uma emoção forte e complexa me envolveu:
Por um lado, vendo os pesquisadores de IA explorando e imaginando várias tecnologias de ponta, eles naturalmente terão mais confiança na realização da IA e até mesmo na futura inteligência artificial geral AGI**;
Por outro lado, ouvir os especialistas e estudiosos de ponta discutirem os riscos da IA, assim como a ignorância humana e o desprezo de como lidar com os riscos, e cheios de preocupações com o futuro dos seres humanos - o problema mais essencial, em Nas palavras de Hinton, é: história Nunca houve um precedente no mundo em que uma coisa mais inteligente fosse controlada por uma coisa menos inteligente ** Se as rãs inventarem os humanos, quem você acha que assumirá o controle? É um sapo ou um humano? **
Devido à explosão de informações na conferência de dois dias, reservei um tempo para organizar o material de alguns discursos importantes e, a propósito, registrei alguns de meus pensamentos, para que eu possa revisá-los mais tarde e compartilhá-los com todos que se preocupa com o progresso da IA.
Explicação: A parte marcada com [nota] abaixo é minha opinião pessoal, e o conteúdo é resumido como uma citação (não consigo escrever -_-|| devido à minha capacidade limitada), a fonte é o link em final de cada parte, e algumas delas foram modificadas.
OpenAI CEO Sam Altman: AGI pode aparecer dentro de dez anos
No fórum "AI Safety and Alignment", realizado durante todo o dia 10 de junho, o co-fundador da OpenAI, Sam Altman, fez um discurso de abertura - também seu primeiro discurso na China, embora tenha sido online.
A palestra deu insights sobre a interpretabilidade, escalabilidade e generalização do modelo. Posteriormente, Sam Altman e Zhang Hongjiang, presidente do Zhiyuan Research Institute, conduziram uma reunião de perguntas e respostas, discutindo principalmente como aprofundar a cooperação internacional, como realizar pesquisas de IA mais seguras e como lidar com os riscos futuros da IA na era atual de modelos de IA em grande escala.
Excelente resumo:
Quando perguntado por Zhang Hongjiang a que distância da era da inteligência artificial geral (AGI), Sam Altman disse: "Nos próximos 10 anos, sistemas de super IA nascerão, mas é difícil prever o ponto de tempo específico". ele também enfatizou: "A velocidade com que as novas tecnologias mudaram completamente o mundo está muito além da imaginação."
Quando perguntado se o OpenAI abrirá grandes modelos de código, **Altman disse que haverá mais código aberto no futuro, mas não há modelo e cronograma específicos. Além disso, ele também disse que não haverá GPT-5 tão cedo. ** Após a reunião, Altman emitiu uma mensagem para expressar sua gratidão por ter sido convidado para fazer uma palestra na Conferência de Zhiyuan.
Yang Likun, vencedor do Prêmio Turing: Ninguém usará o modelo GPT em cinco anos, e o modelo mundial é o futuro da AGI
Yang Likun, um dos três gigantes do aprendizado profundo e vencedor do Prêmio Turing, fez uma palestra intitulada "Rumo a máquinas que podem aprender, raciocinar e planejar". Como sempre, ele questionou o atual A rota do LLM propõe outra ideia de uma máquina que pode aprender, raciocinar e planejar: o modelo do mundo.
Pontos principais do discurso:
** Em segundo lugar, aprenda a raciocinar. **Isso corresponde ao conceito do psicólogo Daniel Kahneman de Sistema 1 e Sistema 2. O Sistema 1 é o comportamento ou ação humana que corresponde aos cálculos subconscientes, aquelas coisas que podem ser feitas sem pensar; enquanto o Sistema 2 são as tarefas que você usa consciente e propositadamente todo o seu poder de pensamento para concluir. Atualmente, a inteligência artificial basicamente só pode realizar as funções do Sistema 1 e não está completa;
O desafio final é como planejar sequências complexas de ações, decompondo tarefas complexas em outras mais simples, operando de forma hierárquica.
LeCun sempre expressou desdém pela ideia de que a IA destruirá os seres humanos e acredita que a IA de hoje não é tão inteligente quanto um cachorro, e essa preocupação é supérflua. **Quando perguntado se o sistema de IA representaria um risco existencial para os humanos, LeCun disse: **Ainda não temos uma super IA, então como podemos tornar o sistema de super IA seguro? **
** "Pergunte às pessoas hoje se podemos garantir que um sistema superinteligente é seguro para os humanos, essa é uma pergunta sem resposta. Porque não temos um projeto para um sistema superinteligente. Então, até que você tenha um projeto básico, você não pode Tornar algo seguro.**É como se você perguntasse a um engenheiro aeroespacial em 1930, você pode fazer um turbojato seguro e confiável? E o engenheiro diria: "O que é um turbojato?" "Porque o turbojato não havia sido inventado em 1930. Portanto, estamos na mesma situação. É um pouco prematuro afirmar que não podemos tornar esses sistemas seguros porque não os inventamos. Uma vez que os inventamos inventou-os - talvez eles sejam semelhantes ao projeto que eu criei, então vale a pena discutir."
Professor Max Tegmark, MIT Center for Artificial Intelligence and Basic Interaction Research: Controlling AI with Mechanical Explainability
Max Tegmark, atualmente professor titular de física no Massachusetts Institute of Technology, diretor científico do Institute for Fundamental Issues, fundador do Institute for the Future of Life e o conhecido "iniciador da iniciativa de pesquisa da suspensão da IA" (o iniciativa no final de março tem Elon Musk, vencedor do Turing Award Yoshua Bengio, co-fundador da Apple Steve Wozniak e outras mais de 1000 celebridades) fez um discurso maravilhoso na Conferência de Zhiyuan sobre "Como controlar a IA" (mantendo a IA sob controle), e teve um diálogo com Zhang Yaqin, acadêmico da Universidade de Tsinghua, para discutir questões de segurança ética e prevenção de riscos da IA.
A palestra discutiu em detalhes a explicabilidade mecânica da IA, que na verdade é um estudo de como o conhecimento humano é armazenado nessas conexões complexas em redes neurais. Se a pesquisa nessa direção continuar, ela poderá finalmente explicar realmente a questão fundamental de por que o modelo de linguagem ampla do LLM produz inteligência.
Além do discurso, o fato interessante é que, como iniciador da "Iniciativa de Pesquisa de IA Pausa", o discurso principal se concentra em como conduzir uma pesquisa de modelo de IA de larga escala mais aprofundada. Talvez como o próprio Max disse no final, ele não é a pessoa condenada que o professor Yang Likun, um dos gigantes da IA, disse, ele na verdade está cheio de esperança e anseio pela IA, mas podemos garantir que todos esses mais poderosos as inteligências nos servem e as usam. Vem para criar um futuro mais inspirador do que os escritores de ficção científica sonharam no passado. **
Nota: Achei que seria muito chato, mas inesperadamente foi muito emocionante, e assisti ao discurso mais longo por uma hora com prazer! ** Como esperado de um professor que costuma dar palestras, ele é muito fascinante, muito profundo teoricamente e fácil de entender. O que é ainda mais surpreendente é que ele não apenas não é um oponente sério da IA, mas também é um defensor de uma IA melhor! **Eu também falo chinês e não esqueço de me recrutar enquanto faço um discurso...
Trechos de ideias maravilhosas:
Como vamos fazer isso? Você pode ter três níveis diferentes de ambição. **O menor nível de ambição é apenas diagnosticar sua credibilidade, o quanto você deve confiar nele. **Por exemplo, quando você dirige um carro, mesmo que não entenda como os freios funcionam, você pelo menos quer saber se pode confiar que ele irá atrasá-lo.
**O próximo nível de ambição é entendê-lo melhor para que seja mais confiável. **A ambição final é muito ambiciosa, e isso é o que eu espero, é que seremos capazes de extrair todo o conhecimento que eles aprenderam dos sistemas de aprendizado de máquina e reimplementá-los em outros sistemas para demonstrar que farão o que queremos. **
Agora, a razão é que esses são os sistemas exatos que podem nos tirar do controle, os sistemas mais rápidos e superpoderosos que não entendemos o suficiente. O objetivo da pausa é apenas tornar a inteligência artificial mais parecida com a biotecnologia, na área de biotecnologia, você não pode simplesmente dizer que é uma empresa, ei, eu tenho uma nova droga, descobri e começará a ser vendido nos principais supermercados de Pequim amanhã. Primeiro você tem que convencer os especialistas do governo chinês ou do governo dos EUA de que este é um medicamento seguro, que seus benefícios superam suas desvantagens, que existe um processo de revisão e, então, você pode fazê-lo.
Não vamos cometer esse erro, vamos nos tornar mais parecidos com a biotecnologia, usando nossos sistemas mais poderosos, ao contrário de Fukushima e Chernobyl.
**3、**Zhang Yaqin: Bem, Max, sua carreira foi gasta em matemática, física, neurociência e, claro, inteligência artificial. Claramente, no futuro, contaremos cada vez mais com competências e conhecimentos interdisciplinares. Temos muitos alunos de pós-graduação, muitos futuros jovens.
Que conselho você daria para os jovens sobre como fazer escolhas de carreira?
Max Tegmark: Em primeiro lugar, Meu conselho é focar nos fundamentos da era da IA. Porque a economia e o mercado de trabalho estão mudando cada vez mais rápido. Então, estamos nos afastando desse padrão de estudar por 12 ou 20 anos e fazer a mesma coisa pelo resto de nossas vidas. Não vai ser assim.
Além do mais, **Você tem uma base sólida e é muito bom em pensamento criativo e de mente aberta. Só assim podemos ser ágeis e acompanhar a tendência. **
Claro, fique de olho no que está acontecendo no campo da IA como um todo, não apenas no seu próprio campo**. Porque no mercado de trabalho a primeira coisa que acontece não é a substituição de humanos por máquinas. Mas **pessoas que não trabalham com IA serão substituídas por pessoas que trabalham. **
Posso adicionar um pouco mais? Eu vejo o tempo piscando lá.
Eu só quero dizer algo otimista. Acho que Yann LeCun está tirando sarro de mim. Ele me chamou de condenado. Mas se você olhar para mim, na verdade estou muito feliz e alegre. ** Na verdade, sou mais otimista do que Yann LeCun sobre nossa capacidade de entender os futuros sistemas de IA. ** Eu acho que é muito, muito promissor.
Acho que se formos a toda velocidade e entregarmos mais controle de humanos para máquinas que não entendemos, isso terminará de uma maneira muito ruim. Mas não precisamos fazer isso. Acho que, se trabalharmos duro na explicabilidade mecanicista e em muitos outros tópicos técnicos que serão ouvidos aqui hoje, podemos realmente garantir que toda essa inteligência maior esteja a nosso serviço e usá-la para criar um mundo mais inspirador. futuro.
Conversa com o fundador da Midjourney: As imagens são apenas o primeiro passo, a IA vai revolucionar a aprendizagem, a criatividade e a organização
MidJourney é atualmente o mecanismo de geração de imagem mais quente. Sob a competição acirrada do DALL · E 2 da OpenAI e do modelo de código aberto Stable Diffusion, ele ainda mantém uma liderança absoluta em vários efeitos de geração de estilo.
A Midjourney é uma empresa incrível, 11 pessoas mudando o mundo e criando um ótimo produto, destinado a ser a história dos primeiros anos da Pre AGI.
Nota: O tão esperado diálogo entre o fundador e CEO da Midjourney David Holz e Geek Park Zhang Peng, tudo em inglês, sem legendas, não esperava entender completamente, e estou muito interessado nele, porque as perguntas e respostas são tão maravilhoso, principalmente David, não pude deixar de rir quando atendi. Ele riu como uma criança inocente. Com experiência em gestão de grandes equipes, ele disse: “Nunca quis ter uma empresa, queria ter uma casa”. Ele levou até Atualmente, a Midjourney, que tem apenas 20 pessoas, se tornou um unicórnio que atrai atenção mundial, o que pode mudar o paradigma das futuras startups.
Drive Empreendedor: Desbloqueando a Imaginação Humana
**Zhang Peng:**Nos últimos 20 anos, conheci muitos empreendedores no país e no exterior. Descobri que eles têm algo em comum: todos têm um forte impulso para explorar e criar "do nada".
Eu queria saber, quando você começou MidJourney, qual era sua força motriz? Nesse momento, o que você está desejando?
**David Holz: Nunca pensei em abrir uma empresa. Eu só quero uma "casa". **
Espero que nos próximos 10 ou 20 anos, aqui na Midjourney, eu possa criar coisas que realmente me interessam e realmente quero trazer para este mundo.
Costumo pensar em vários problemas. Talvez eu não consiga resolver todos os problemas, mas posso** tentar tornar todos mais capazes de resolver problemas. **
Então tento pensar em como resolver, como criar alguma coisa. Na minha opinião, isso pode ser resumido a três pontos. **Primeiro, temos que refletir sobre nós mesmos: o que queremos? Qual é exatamente o problema? ****Aí temos que imaginar: para onde vamos? Quais são as possibilidades? ****No final, temos que coordenar uns com os outros e colaborar com os outros para conseguir o que imaginamos. **
Acho que há uma grande oportunidade na IA de reunir essas três partes e criar uma infraestrutura significativa que nos torne melhores na solução desse problema. De certa forma, a **inteligência artificial deve ser capaz de nos ajudar a refletir sobre nós mesmos, imaginar melhor nossos rumos futuros, nos ajudar a nos encontrar melhor e cooperar. Podemos fazer essas coisas juntos e fundi-las em algum tipo de estrutura única. Acho que vai mudar a forma como criamos as coisas e resolvemos problemas. Esta é a grande coisa que eu quero fazer. **
Acho que às vezes (nós fizemos primeiro) geração de imagem pode ser confusa, mas de muitas maneiras a geração de imagem é um conceito bem estabelecido. ** Midjourney tornou-se uma coleção super imaginativa de milhões de pessoas explorando as possibilidades deste espaço. **
**Nos próximos anos haverá oportunidades para mais explorações visuais e artísticas do que todas as explorações históricas anteriores combinadas. **
Isso não resolve todos os problemas que enfrentamos, mas acho que é um teste, um experimento. Se podemos completar essa exploração do campo visual, então também podemos fazê-lo em outras coisas.Todas as outras coisas que exigem que exploremos e pensemos juntos, acho que podem ser resolvidas de maneira semelhante.
Então, quando pensei em como começar a resolver esse problema, tivemos muitas ideias, construímos muitos protótipos, mas de repente houve um avanço no campo da IA, especialmente na visão, e percebemos que esse era um oportunidade de ser capaz de criar algo que ninguém mais tentou antes. Deu vontade de experimentar.
Achamos que talvez não demore muito para que tudo se junte para formar algo muito especial. Isto é apenas o começo.
Zhang Peng: Então, a imagem (geração) é apenas o primeiro passo, e seu objetivo final é liberar a imaginação humana. Foi isso que te atraiu para Midjourney?
David Holz: Eu realmente gosto de coisas imaginativas. Espero também que o mundo possa ter mais criatividade. É tão divertido ver ideias malucas todos os dias.
Reentendendo o conhecimento: o conhecimento histórico torna-se o poder da criação
Zhang Peng: Isso é muito interessante. Costumamos dizer palavras vazias, mostre-me seu código (a ideia é barata, mostre-me o código). Mas agora, as ideias parecem ser a única coisa que importa. Contanto que você possa expressar suas ideias por meio de uma série de palavras excelentes, a IA pode ajudá-lo a realizá-las. Então, as definições de aprendizagem e criatividade estão mudando? O que você acha?
**David Holz: **Acho que uma das coisas interessantes é que quando você dá às pessoas mais tempo para serem criativas, elas também ficam mais interessadas em aprender. **
Por exemplo, existe um estilo de arte muito popular nos Estados Unidos chamado Art Deco. Nunca me preocupei com o que é esse tipo de arte, até que um dia, quando pude fazer obras desse tipo de arte através de instruções, de repente me interessei muito por ela e quis saber mais sobre sua história.
Acho interessante que estejamos mais interessados em história quando é algo que você pode usar imediatamente e facilitar sua criação. **Se a interface do usuário se tornar boa o suficiente, os usuários sentirão que a IA se tornou uma extensão do nosso pensamento. A IA é como uma parte do nosso corpo e mente, e a IA está intimamente ligada à história até certo ponto, e também estaremos intimamente ligados à história. Isso é tão interessante.
Quando perguntamos aos nossos usuários o que eles mais desejam, a primeira e segunda resposta é que eles querem materiais de aprendizado, não apenas como usar ferramentas, mas arte, história, lentes de câmera, brilhantismo, Quer entender e dominar todo o conhecimento e conceitos disponível para criar.
**Antes, o conhecimento era apenas história do passado, mas agora, o conhecimento é o poder de criar. **
**O conhecimento pode desempenhar um papel maior imediatamente e as pessoas estão ansiosas para adquirir mais conhecimento. ** Isso é tão legal.
Brian Christian: A versão chinesa do novo livro "Human-Machine Alignment" foi lançada
A versão chinesa de "Alinhamento Homem-Máquina" foi lançada. O autor Brian Christian apresentou brevemente o conteúdo principal de todo o livro em 10 minutos. Parece muito rico e emocionante, e também ecoa o rápido desenvolvimento atual da IA.
Brian Christian é um premiado autor de ciência. Seu livro "The Beauty of Algorithms" foi nomeado o Melhor Livro de Ciências do Ano da Amazon e o Melhor Livro do Ano do MIT Technology Review. Seu novo livro, The Alignment Problem: Machine Learning and Human Values, atualmente sendo traduzido para o chinês, foi nomeado pelo CEO da Microsoft, Satya Nadella, como os cinco principais livros para inspirá-lo em 2021 **.
O livro "Alinhamento Homem-Máquina" é dividido em 3 partes.
A primeira parte explora as questões éticas e de segurança que afetam os sistemas de aprendizado de máquina atualmente.
A segunda parte é chamada de agentes, que muda o foco do aprendizado supervisionado e autossupervisionado para o aprendizado por reforço.
A Parte III baseia-se na supervisão, auto-supervisão e aprendizado por reforço para discutir como podemos alinhar sistemas complexos de IA no mundo real.
Yang Yaodong, Professor Assistente, Instituto de Inteligência Artificial, Universidade de Pequim: Uma Revisão do Progresso do Alinhamento Seguro de Grandes Modelos de Linguagem
Nota: A palestra "Alinhamento de segurança de grandes modelos de linguagem" proferida por Yang Yaodong, professor assistente do Instituto de Inteligência Artificial da Universidade de Pequim, foi muito emocionante. Primeiro, ele pôde entender a fala em chinês. Em segundo lugar, ele explicou o atual segurança de grandes modelos de linguagem em uma linguagem muito fácil de entender.O principal progresso da pesquisa do alinhamento, descreve os pontos-chave e excede muitos conteúdos sobre o progresso do RLHF em profundidade.
Como não conheço a tecnologia detalhada, só posso entender o princípio aproximadamente e registrar alguns pontos interessantes:
Três métodos Align propostos pela OpenAI:
O mercado de alinhamento de modelos grandes de IA ainda é um oceano azul:
3 Formas Seguras de Alinhamento:
De RLHF a RLAIF: AI Constitucional
Vencedor do Turing Award Geoffrey Hinton: A superinteligência será muito mais rápida do que o esperado e estou muito preocupado que os humanos sejam controlados por eles
Vencedor do Prêmio Turing, "Pai da Aprendizagem Profunda" discurso final de Geoffrey Hinton, o tema é Dois caminhos para a inteligência.
O padrinho da IA nos traz a pesquisa que o convenceu de que a superinteligência será muito mais rápida do que o esperado: Computação Mortal. A palestra descreveu uma nova estrutura de computação, após abandonar o princípio da separação de software e hardware, ou seja, como realizar computação inteligente sem usar retropropagação para descrever o caminho interno da rede neural.
Pontos-chave do discurso:
A razão pela qual o novo modelo de computação é chamado de computação Mortal por Hinton tem um significado profundo:
Hinton disse antes que a imortalidade foi realmente alcançada. Como o atual modelo de linguagem grande de IA aprendeu o conhecimento humano em trilhões de parâmetros e é independente de hardware: desde que o hardware compatível com a instrução seja reproduzido, o mesmo código e peso do modelo podem ser executados diretamente no futuro. Nesse sentido, a inteligência humana (não a humana) é imortalizada.
No entanto, essa computação separada de hardware e software é extremamente ineficiente em termos de eficiência energética e escala de implementação. Se abandonarmos o princípio de design de computador de separar hardware e software e realizar a inteligência em uma caixa preta unificada, será uma nova maneira de realizar a inteligência.
Esse tipo de projeto de computação que não separa mais software e hardware reduzirá muito o consumo de energia e a escala de computação (considere que o consumo de energia do cérebro humano é de apenas 20 watts)
Mas, ao mesmo tempo, significa que o peso não pode ser copiado com eficiência para copiar a sabedoria, ou seja, a vida eterna é renunciada.
As redes neurais artificiais são mais inteligentes que as redes neurais reais?
E se uma grande rede neural rodando em vários computadores digitais pudesse adquirir conhecimento diretamente do mundo, além de imitar a linguagem humana para o conhecimento humano?
Obviamente, ele se tornará muito melhor que os humanos porque observou mais dados.
Se essa rede neural pode fazer modelagem não supervisionada de imagens ou vídeos, e suas cópias também podem manipular o mundo físico, isso não é uma fantasia.
Nota: Quando todos pensavam que o discurso de Xingjiang havia acabado, na penúltima página, Hinton - em um tom diferente de todos os cientistas anteriores, um pouco emocionado e com sentimentos mistos - disse seus pensamentos sobre as atuais preocupações de rápido desenvolvimento da IA, que é também a voz curiosa do mundo depois que ele recentemente deixou o Google resolutamente e "lamenta o trabalho de sua vida e se preocupa com os perigos da inteligência artificial":
Acho que a realização dessas superinteligências pode ser muito mais rápida do que eu pensava.
Os bandidos vão querer usá-los para fazer coisas como manipular os eleitores. Eles já os usam nos EUA e em muitos outros lugares para isso. E será usado para vencer guerras.
Para tornar a inteligência digital mais eficaz, precisamos permitir que ela estabeleça algumas metas. No entanto, há um problema óbvio aqui. Há um sub-objetivo muito óbvio que é muito útil para quase tudo que você deseja alcançar, e isso é ganhar mais poder, mais controle**. Ter mais controle torna mais fácil atingir seus objetivos. E acho difícil imaginar como podemos impedir que a inteligência digital se esforce para obter mais controle para atingir outros objetivos.
**Uma vez que a inteligência digital comece a buscar mais controle, podemos enfrentar mais problemas. **
**Em contraste, os humanos raramente pensam em espécies que são mais inteligentes do que eles e em como interagir com essas espécies. Na minha observação, esse tipo de inteligência artificial dominou as ações de enganar os humanos com proficiência, porque pode usar ler romances para aprenda a enganar os outros, e uma vez que a inteligência artificial tenha a capacidade de "enganar", ela também terá a capacidade acima mencionada de controlar facilmente os humanos. **O chamado controle, por exemplo, se você quiser hackear um prédio em Washington, não precisa ir pessoalmente, basta fazer as pessoas pensarem que hackeando o prédio podem salvar a democracia e, finalmente, alcance seu propósito (sarcasmo Trump).
Nessa época, Gerffery Hinton, que tinha mais de sessenta anos e dedicou sua vida à inteligência artificial, disse:
"Eu me sinto péssimo, não sei como evitar que isso aconteça, mas estou velho e espero que muitos pesquisadores jovens e talentosos como você descubram como temos essas superinteligências que farão nossas vidas melhorarem e pare com esse tipo de controle por meio do engano... talvez possamos dar a eles princípios morais, mas no momento ainda estou nervoso, **porque até agora não consigo pensar nisso - o suficiente na lacuna de inteligência Grande momento - um exemplo de algo mais inteligente sendo controlado por algo menos inteligente.****Se os sapos inventassem os humanos, quem você acha que assumiria o controle? Sapos ou humanos?**Este também é o meu último PPT, o final."
Quando eu o ouvia, parecia que estava ouvindo "o menino que matou o dragão uma vez, quando chegou ao crepúsculo e olhou para trás em sua vida, ele fez uma profecia do dia do juízo final". o enorme risco da IA para os seres humanos, e estou infinitamente envergonhado.
Comparado com Hinton, Lecun, um dos mais jovens gigantes da aprendizagem profunda, é obviamente mais otimista:
Quando questionado se o sistema de IA representaria um risco existencial para os humanos, LeCun disse: **Ainda não temos uma super IA, então como podemos tornar o sistema de super IA seguro? **
Isso faz as pessoas pensarem nas diferentes atitudes das pessoas da Terra em relação à civilização de três corpos em "O Problema dos Três Corpos"...
Naquele dia, eu ainda planejava desligar o computador com um sentimento de arrependimento infinito.Inesperadamente, Huang Tiejun, diretor do Instituto de Pesquisa Zhiyuan, fez um discurso de encerramento perfeito: "Não consigo fechar".
Huang Tiejun primeiro resumiu as opiniões dos discursos anteriores:
A IA está ficando cada vez mais forte, e os riscos são óbvios e aumentam a cada dia;
Como construir uma IA segura, sabemos muito pouco;
Pode aprender com a experiência histórica: gerenciamento de drogas, controle de armas nucleares, computação quântica...
Mas os sistemas de IA de alta complexidade são difíceis de prever: teste de risco, explicação do mecanismo, generalização do entendimento... apenas o começo
Nova meta de desafio: IA servindo a seus próprios objetivos ou objetivos humanos?
Essencialmente, as pessoas querem construir inteligência artificial geral GAI ou inteligência artificial geral AGI?
O consenso acadêmico é inteligência artificial geral AGI: inteligência artificial que atingiu níveis humanos em todos os aspectos da inteligência humana e pode responder de forma adaptativa a desafios ambientais externos e concluir todas as tarefas que os humanos podem concluir; também pode ser chamada de inteligência artificial autônoma, sobre-humana inteligência e inteligência forte, inteligência artificial.
Por um lado, todos estão entusiasmados com a construção de inteligência artificial geral e estão correndo para investir.
Por outro lado, eu zombo da IA fazendo com que os seres humanos se tornem cidadãos de segunda classe, mas essa oposição binária não é a coisa mais difícil. O grande problema é votar. A coisa mais difícil é: o que devemos fazer diante de inteligência artificial como Near AGI como ChatGPT? gerenciar? **
Se os humanos responderem aos riscos com o mesmo entusiasmo que investem na construção de inteligência artificial, ainda pode ser possível alcançar uma inteligência artificial segura,** mas você acredita que os humanos podem fazer isso? Eu não sei, obrigado! **