Zhiyuan Conferenceは、Zhiyuan Research Institute（中国で最も強力なOpenAIの中国AI研究所としても知られています）が主催する人工知能に関する毎年恒例の国際ハイエンド専門家交流イベントです。参加者のラインナップからわかるように、「Spring Festival Gala」ゲスト:
チューリング賞受賞者 Geoffrey Hinton、Yann LeCun (これは深層学習のビッグ 3 の 2 番目でもあり、前回のカンファレンスには別の Bengio が参加しました)、Joseph Sifakis と Yao Qizhi、Zhang Bo、Zheng Nanning、Xie Xiaoliang、Zhang Honjiang、Zhang Yaqin およびその他の学者、カリフォルニア大学バークレー校人工知能システムセンター創設者スチュアート・ラッセル、マサチューセッツ工科大学フューチャー・オブ・ライフ研究所創設者マックス・テグマーク、OpenAI CEO サム・アルトマン (オンラインではありますが、中国での初めての講演でもあります)、Meta、Microsoft、Google などの大企業と、DeepMind、Anthropic、HuggingFace、Midjourney、Stability AI などのスターチームのメンバー、合計 200 名以上人工知能のトップ専門家...
この講演では、モデルの解釈可能性、スケーラビリティ、一般化可能性に関する洞察が得られました。続いて、サム・アルトマン氏と知源研究所の張宏江会長が首脳質疑応答を行い、主に国際協力を深化させる方法、より安全なAI研究を実施する方法、現代のAIの将来リスクにどう対処するかについて議論した。大規模な AI モデル。
AI から得られる潜在的な利益は膨大です。しかし、生産性と生活水準の向上にリスクを活用できるよう、私たちはリスクを共同で管理する必要があります。
ますます強力な AI システムの出現により、* 世界的な協力に対するリスクはかつてないほど高まっています。歴史上、大国間に意見の相違があることはよくありますが、最も重要な問題のいくつかについては、協力と調整が必要です。 **AGI の安全性の向上は、共通の利益を見つける必要がある最も重要な分野の 1 つです。アルトマン氏は講演の中で、世界規模のAIセキュリティの調整と監視の必要性を繰り返し強調し、特に『道経経』から「千マイルの旅は一歩から始まる」という一文を引用した。調整はまだ未解決の問題です。
ルカン氏は、AIが人類を滅ぼすという考えに対して常に軽蔑を表明しており、今日のAIは犬ほど知能が高くなく、このような心配は不必要であると信じている。 **AI システムは人間に存亡の危機をもたらすのではないかとの質問に対し、ルカン氏は次のように述べました。**私たちはまだスーパー AI を持っていません。では、どうすればスーパー AI システムを安全にできるでしょうか? **
講演に加えて興味深いのは、「Pause AI Research Initiative」の発起人として、基調講演ではより踏み込んだAIの大規模モデル研究をどのように行うかに焦点を当てていることだ。おそらくマックス自身が最後に述べたように、彼は AI の巨人の 1 人であるヤン・リークン教授が言ったような運命の人ではなく、実際には希望と AI への憧れに満ちていますが、私たちはこれらすべてをより強力にすることを保証できます。知性は私たちに奉仕し、それらを利用します。それは、SF 作家がこれまで夢見てきたよりもさらに刺激的な未来を創造するようになります。 **
注: とても退屈だろうと思っていましたが、予想外に非常に刺激的で、最長のスピーチを 1 時間楽しみながら見ていました。 **講義をよくされる先生だけあって、とても魅力的で、理論的にとても深く、わかりやすいです。さらに驚くべきことは、彼は堅固な AI 反対者ではないだけでなく、実際にはより優れた AI の提唱者であるということです。 **私は中国語も話せますし、スピーチをしながら自分をリクルートすることも忘れません...
注: Midjourney の創設者兼 CEO の David Holz 氏と Geek Park Zhang Peng 氏の待望の対談はすべて英語で字幕なしで、完全に理解できるとは思っていませんでしたが、非常に興味がありました。 「とても素晴らしいです。特にデビッドです。答えると思わず笑ってしまいました。彼は無邪気な子供のように笑いました。大規模なチームを管理した経験のある彼は、「会社を持ちたくなかった。家を持ちたかった。」と言いました。現在、従業員数わずか20人のMidjourneyは、今後のスタートアップのパラダイムを変えるかもしれない世界的に注目されるユニコーン企業となった。
AI には、これら 3 つの部分を統合し、この問題の解決を向上させる重要なインフラストラクチャを構築する大きなチャンスがあると思います。ある意味では、**人工知能は、私たちが自分自身を振り返り、将来の方向性をよりよく想像し、お互いを見つけて協力するのに役立つはずです。これらのことを一緒に実行し、ある種の単一のフレームワークに融合することができます。それは私たちがものを作り、問題を解決する方法を変えるだろうと思います。これが私がやりたい大きなことです。 **
AI のゴッドファーザーは、超知能が予想よりもはるかに高速であることを彼に確信させた研究、モータル コンピューテーションをもたらしました。この講演では、ソフトウェアとハードウェアの分離原則を放棄した後の新しいコンピューティング構造、つまり、ニューラルネットワークの内部パスを記述するためにバックプロパゲーションを使用せずにインテリジェントコンピューティングを実現する方法について説明しました。
ヒントンは以前、不死は実際に達成されたと述べました。現在の AI の大規模言語モデルは人間の知識を数兆個のパラメーターに学習しており、ハードウェアに依存しないため、命令互換のハードウェアが再現される限り、将来的には同じコードとモデルの重みを直接実行できます。この意味で、人間の知性（人間ではありません）は不滅です。
注: 新疆に関する演説が終わったと誰もが思ったとき、最後から 2 番目のページでヒントンは、これまでの科学者とは異なる口調で、少し感情的で複雑な感情を込めて、現在の急速に発展している AI の懸念について自分の考えを述べました。また、彼が最近果敢に Google を辞め、「自分の生涯の仕事を後悔し、人工知能の危険性を心配している」ことに対する世界の好奇心旺盛な声もまた、次のようなものである。
Zhiyuan Conference 2023 のその後: AI に自信を持ち、人間のことをより心配しています
6月9日、2日間の「北京志源会議」が中関村国家自主イノベーション実証区会議センターで無事開幕した。
Zhiyuan Conferenceは、Zhiyuan Research Institute（中国で最も強力なOpenAIの中国AI研究所としても知られています）が主催する人工知能に関する毎年恒例の国際ハイエンド専門家交流イベントです。参加者のラインナップからわかるように、「Spring Festival Gala」ゲスト:
チューリング賞受賞者 Geoffrey Hinton、Yann LeCun (これは深層学習のビッグ 3 の 2 番目でもあり、前回のカンファレンスには別の Bengio が参加しました)、Joseph Sifakis と Yao Qizhi、Zhang Bo、Zheng Nanning、Xie Xiaoliang、Zhang Honjiang、Zhang Yaqin およびその他の学者、カリフォルニア大学バークレー校人工知能システムセンター創設者スチュアート・ラッセル、マサチューセッツ工科大学フューチャー・オブ・ライフ研究所創設者マックス・テグマーク、OpenAI CEO サム・アルトマン (オンラインではありますが、中国での初めての講演でもあります)、Meta、Microsoft、Google などの大企業と、DeepMind、Anthropic、HuggingFace、Midjourney、Stability AI などのスターチームのメンバー、合計 200 名以上人工知能のトップ専門家...
この 2 日間、私はカンファレンスのライブ中継を視聴していましたが、テクノロジーのことを理解していない文系学生としては、実際に非常に興味深く聞いており、多くのことを得ることができました。
しかし、チューリング賞の最終受賞者であり「ディープラーニングの父」であるジェフリー・ヒントンのスピーチを読んだ後、私は強く複雑な感情に包まれました。
一方で、AI 研究者がさまざまな最先端技術を探索し、想像しているのを見ると、当然、AI、さらには将来の汎用人工知能 AGI** の実現に自信を持つようになるでしょう。
一方で、AIのリスクについて最先端の専門家や学者の話を聞くと、リスクへの対処法に対する人間の無知や軽蔑、そして最も本質的な問題である人類の将来への不安が溢れてきます。ヒントンの言葉は次のとおりです: 歴史 より知性の高いものが、より知性の低いものによって制御されたという前例は、世界に一度もありません。 ** カエルが人間を発明したら、誰が制御すると思いますか?それはカエルですか、それとも人間ですか？ **
2 日間のカンファレンスでは情報が爆発的に増えたため、いくつかの重要なスピーチの資料を整理するのに時間をかけて、後で見直して参加者全員と共有できるように、私の考えの一部を記録しました。 AIの進歩が気になる。
解説：以下の[注]部分は私の個人的な見解であり、その内容を引用としてまとめたものです（能力不足のため書き出せません-_-||）、出典は以下のリンクです。各部分の終わり、およびそれらのいくつかは変更されています。
OpenAI CEO サム アルトマン: AGI は 10 年以内に登場するかもしれない
6月10日に終日開催された「AIの安全性と調整」フォーラムでは、OpenAIの共同創設者であるサム・アルトマン氏が開会の基調講演を行ったが、これもオンラインではあるが中国での初めての講演となった。
この講演では、モデルの解釈可能性、スケーラビリティ、一般化可能性に関する洞察が得られました。続いて、サム・アルトマン氏と知源研究所の張宏江会長が首脳質疑応答を行い、主に国際協力を深化させる方法、より安全なAI研究を実施する方法、現代のAIの将来リスクにどう対処するかについて議論した。大規模な AI モデル。
優れた要約:
※現在のAI革命がこれほど大きな影響を及ぼしている理由は、その影響の大きさだけでなく、その進歩のスピードにもあります。これは配当とリスクの両方をもたらします。
張宏江氏が汎用人工知能(AGI)の時代からどのくらい先になるのかと尋ねると、サム・アルトマン氏は「今後10年以内に超AIシステムが誕生するだろうが、具体的な時点を予測するのは難しい」と答えた。同氏はまた、「新技術が世界を完全に変えるスピードは想像をはるかに超えている」と強調した。
OpenAI が大規模モデルをオープンソースにするかどうか尋ねられたとき、**Altman 氏は、将来的にはオープンソースがさらに増えるだろうが、具体的なモデルやスケジュールはないと述べました。さらに、GPT-5は当分存在しないとも述べた。 ** 会合後、アルトマン氏は知源会議での講演に招待されたことに感謝の意を表すメッセージを発表した。
チューリング賞受賞者のヤン・リークン氏: 5 年以内に GPT モデルを使用する人は誰もいないでしょう、そして世界モデルは AGI の未来です
深層学習の三大巨頭の一人でチューリング賞受賞者の楊立坤氏は、「学習、推論、計画ができる機械に向けて」と題した基調講演を行い、いつものように現状に疑問を呈した。学習し、推論し、計画できる機械の世界モデル。
スピーチの要点:
第二に、推論することを学びます。 これは、心理学者ダニエル・カーネマンのシステム 1 とシステム 2 の概念に対応します。システム 1 は潜在意識の計算に対応する人間の行動や行動、つまり何も考えずに実行できるものですが、システム 2 は意識的かつ意図的にすべての思考力を使って完了するタスクです。現時点では、人工知能は基本的にシステム 1 の機能しか実現できず、完全ではありません。
最後の課題は、複雑なタスクをより単純なタスクに分解し、階層的な方法で操作することで、複雑な一連のアクションを計画する方法です。
ルカン氏は、AIが人類を滅ぼすという考えに対して常に軽蔑を表明しており、今日のAIは犬ほど知能が高くなく、このような心配は不必要であると信じている。 **AI システムは人間に存亡の危機をもたらすのではないかとの質問に対し、ルカン氏は次のように述べました。**私たちはまだスーパー AI を持っていません。では、どうすればスーパー AI システムを安全にできるでしょうか? **
** 「今日、人々に尋ねてください。超知能システムが人間にとって安全であると保証できますか。それは答えのない質問です。なぜなら、私たちは超知能システムの設計を持っていないからです。したがって、基本設計ができるまでは、それはできません」安全なものを作る。**1930 年に航空宇宙エンジニアに「ターボジェットを安全で信頼性の高いものにできますか?」と尋ねたら、エンジニアは「ターボジェットとは何ですか?」と答えるようなものです。 「なぜなら、ターボジェットは 1930 年には発明されていなかったからです。つまり、私たちも同じような状況にあるのです。私たちが発明していないからといって、これらのシステムを安全にできないと主張するのは、少し時期尚早です。それらは私が発明したものです - -おそらくそれらは私が考え出した青写真に似ているでしょう、それなら議論する価値があります。」
Max Tegmark 教授、MIT 人工知能および基礎インタラクション研究センター: 機械的説明可能性による AI の制御
マックス・テグマーク氏は、現在マサチューセッツ工科大学物理学の終身教授であり、基本問題研究所の科学ディレクター、生命の未来研究所の創設者であり、有名な「AI研究活動の停止の発案者」である（ 3月末のイニシアチブでは、イーロン・マスク氏、チューリング賞受賞者のヨシュア・ベンジオ氏、Apple共同創設者のスティーブ・ウォズニアック氏、その他1000人以上の著名人が知源会議で「AIを制御する方法」（AIを制御下に置くこと）に関する素晴らしいスピーチを行いました。また、清華大学の学者である張亜琴氏と対話し、AIの倫理的セキュリティとリスク防止の問題について話し合いました。
このスピーチでは、AI の機械的説明可能性 について詳しく説明されました。これは実際には、人間の知識がニューラル ネットワークの複雑な接続にどのように保存されるかについての研究です。この方向の研究が続けば、LLM 大規模言語モデルがなぜ知性を生み出すのかという究極の疑問をついに説明できるかもしれません。
講演に加えて興味深いのは、「Pause AI Research Initiative」の発起人として、基調講演ではより踏み込んだAIの大規模モデル研究をどのように行うかに焦点を当てていることだ。おそらくマックス自身が最後に述べたように、彼は AI の巨人の 1 人であるヤン・リークン教授が言ったような運命の人ではなく、実際には希望と AI への憧れに満ちていますが、私たちはこれらすべてをより強力にすることを保証できます。知性は私たちに奉仕し、それらを利用します。それは、SF 作家がこれまで夢見てきたよりもさらに刺激的な未来を創造するようになります。 **
注: とても退屈だろうと思っていましたが、予想外に非常に刺激的で、最長のスピーチを 1 時間楽しみながら見ていました。 **講義をよくされる先生だけあって、とても魅力的で、理論的にとても深く、わかりやすいです。さらに驚くべきことは、彼は堅固な AI 反対者ではないだけでなく、実際にはより優れた AI の提唱者であるということです。 **私は中国語も話せますし、スピーチをしながら自分をリクルートすることも忘れません...
素晴らしいアイデアからの抜粋:
どうやってこれを行うのでしょうか？野心は 3 つの異なるレベルを持つことができます。 **最も低いレベルの野心は、その信頼性、どの程度信頼すべきかを診断することです。 **たとえば、車を運転するとき、たとえブレーキがどのように機能するかを理解していなくても、少なくともブレーキを信頼して減速できるかどうかを知りたいと思うでしょう。
**次のレベルの目標は、それをより深く理解し、より信頼できるものにすることです。 **最終的な目標は非常に野心的であり、それが私が期待していることですが、機械学習システムから学習したすべての知識を抽出し、他のシステムに再実装して、私たちが望むことを実行できることを実証できるようになります。 **
その理由は、これらは、私たちが十分に理解していない、最も迅速で超強力なシステムを制御不能にする可能性があるまさにそのシステムだからです。 一時停止の目的は、人工知能をよりバイオテクノロジーに近づけることだけです、バイオテクノロジーの分野では、自分が会社であるとだけ言うことはできません、ねえ、私は新薬を持っています、私はそれを発見しました、そして明日から北京の主要スーパーマーケットで販売が始まります。まず中国政府や米国政府の専門家に、これが安全な薬であること、メリットがデメリットを上回ること、審査プロセスがあることを説得しなければならない。
その間違いを犯さないようにしましょう。福島やチェルノブイリとは異なり、最も強力なシステムを使用して、バイオテクノロジーのようになりましょう。
**3、**Zhang Yaqin: そうですね、マックス、あなたのキャリアは数学、物理学、神経科学、そしてもちろん人工知能に費やされてきました。将来的には、学際的な能力や知識にますます依存するようになるのは明らかです。私たちには大学院生も多く、将来を担う若者もたくさんいます。
キャリアの選択について若い人たちに何かアドバイスはありますか?
Max Tegmark: まず、私のアドバイスは、AI 時代の基礎に焦点を当てることです。なぜなら、経済と雇用市場はますます急速に変化しているからです。 つまり、私たちは 12 年または 20 年間勉強して、残りの人生で同じことを続けるというパターンから脱却しつつあります。そんなことはないでしょう。
さらに、**あなたはしっかりした基礎を持っており、創造的で柔軟な思考が非常に得意です。この方法によってのみ、私たちは機敏に行動し、トレンドに従うことができます。 **
もちろん、自分の分野だけでなく、AI 分野全体で何が起こっているかにも注目してください**。なぜなら、雇用市場で最初に起こるのは、人間が機械に置き換わることではないからです。しかし **AI を活用しない人々は、AI を活用する人々に取って代わられるでしょう。 **
もう少し追加してもいいですか？そこには時間が点滅しているのが見えます。
ただ楽観的なことを言いたいだけです。ヤン・ルカンが私をからかっていると思います。彼は私を運命の人だと呼びました。でも、私を見てみると、実はとても幸せで陽気なんです。 **実際、私は将来の AI システムを理解する能力について、ヤン・ルカンよりも楽観的です。 **それは非常に有望だと思います。
もし私たちが全速力で進んで、理解できない機械に人間からより多くの制御を引き渡すと、それは非常に悪い結果になると思います。しかし、その必要はありません。メカニズムの説明可能性や、今日ここで聞かれる他の多くの技術的な話題に熱心に取り組めば、この優れたインテリジェンスのすべてを実際に活用して、より感動的な世界を創造するために使用できると思います。未来。
Midjourney の創設者との会話: 写真は最初のステップにすぎません、AI は学習、創造性、組織に革命をもたらします
MidJourney は現在最も注目されている画像生成エンジンで、OpenAI の DALL・E 2 やオープンソース モデル Stable Diffusion との熾烈な競争の下、さまざまなスタイル生成エフェクトにおいて依然として絶対的なリードを保っています。
Midjourney は素晴らしい会社で、11 人の従業員が世界を変え、Pre AGI の初期の物語となるであろう素晴らしい製品を開発しています。
注: Midjourney の創設者兼 CEO の David Holz 氏と Geek Park Zhang Peng 氏の待望の対談はすべて英語で字幕なしで、完全に理解できるとは思っていませんでしたが、非常に興味がありました。 「とても素晴らしいです。特にデビッドです。答えると思わず笑ってしまいました。彼は無邪気な子供のように笑いました。大規模なチームを管理した経験のある彼は、「会社を持ちたくなかった。家を持ちたかった。」と言いました。現在、従業員数わずか20人のMidjourneyは、今後のスタートアップのパラダイムを変えるかもしれない世界的に注目されるユニコーン企業となった。
起業家精神: 人間の想像力を解き放つ
**Zhang Peng:**過去 20 年間、私は国内外で多くの起業家に会ってきました。彼らには共通点があることがわかりました。彼らは皆、「何もないところから」探求し創造するという強い意欲を持っています。
MidJourney を始めたとき、あなたの原動力は何だったのでしょうか?その時、あなたは何を望んでいますか？
**David Holz: 会社を立ち上げるなど考えたこともありませんでした。ただ「家」が欲しいだけなんです。 **
今後10年、20年の間に、ここミッドジャーニーで、私が本当に大切に思っているもの、本当にこの世界に届けたいものを作ることができればと思っています。
いろいろな問題についてよく考えます。すべての問題を解決することはできないかもしれませんが、全員がより問題を解決できるようにすることはできます**。 **
だからそれをどうやって解決するか、どうやって何かを生み出すかを考えるようにしています。私の考えでは、これは 3 つのポイントに集約されると考えています。 **まず、私たちは自分自身を振り返る必要があります。私たちは何を望んでいるのか?いったい何が問題なのでしょうか？ ****それでは、私たちはどこへ向かっているのかを想像する必要があります。どのような可能性がありますか? ****最終的には、私たちが想像していることを達成するために、私たちは互いに調整し、他の人と協力する必要があります。 **
AI には、これら 3 つの部分を統合し、この問題の解決を向上させる重要なインフラストラクチャを構築する大きなチャンスがあると思います。ある意味では、**人工知能は、私たちが自分自身を振り返り、将来の方向性をよりよく想像し、お互いを見つけて協力するのに役立つはずです。これらのことを一緒に実行し、ある種の単一のフレームワークに融合することができます。それは私たちがものを作り、問題を解決する方法を変えるだろうと思います。これが私がやりたい大きなことです。 **
画像生成は時々 (私たちが最初に行いましたが) 混乱することがあります と思いますが、多くの点で画像生成は確立された概念です。 **ミッドジャーニーは、この空間の可能性を探求する何百万人もの人々の非常に想像力豊かなコレクションとなっています。 **
**今後数年間で、これまでの歴史的探検をすべて合わせたよりも多くの視覚的かつ芸術的な探検の機会が生まれるでしょう。 **
これで私たちが直面しているすべての問題が解決されるわけではありませんが、これは テスト、実験だと思います。この視野の探索を完了できれば、他のことでも同じことができるようになり、一緒に探索したり考えたりする必要がある他のすべてのことも、同様の方法で解決できると思います。
そこで、この問題の解決にどのように着手するかを考えたとき、たくさんのアイデアがあり、たくさんのプロトタイプを作成しましたが、突然、AI、特に視覚の分野で画期的な進歩が起こり、これはユニークなものであることに気付きました。これまで誰も試したことのないものを創造できるチャンス。試してみたくなりました。
おそらく、すべてがひとつになって非常に特別なものが形成されるまで、そう長くはかからないと考えています。これは始まりにすぎない。
Zhang Peng: つまり、絵 (生成) は最初のステップにすぎず、最終的な目標は人間の想像力を解放することです。これがあなたを『ミッドジャーニー』に引き寄せた理由ですか？
David Holz: 私は想像力豊かなことが大好きです。また、世界がもっと創造性を発揮できるようになることを願っています。クレイジーなアイデアを毎日見るのはとても楽しいです。
知識の再理解: 歴史の知識が創造の力になる
張鵬: これはとても興味深いですね。私たちは通常、空虚な言葉、コードを見せてください（アイデアは安いです、コードを見せてください）と言います。しかし現時点では、重要なのはアイデアだけのようです。あなたが一連の優れた言葉で自分のアイデアを表現できる限り、AI はあなたのアイデアを実現するのに役立ちます。では、学習と創造性の定義は変化しているのでしょうか?どう思いますか？
**David Holz: **興味深いことの 1 つは、人々に創造性を発揮するためのより多くの時間を与えると、学習自体への関心も高まるということだと思います。 **
たとえば、アールデコと呼ばれるアメリカで非常に人気のあるアートスタイルがあります。私は、このような芸術がどのようなものであるか全く気にしたことがありませんでしたが、ある日、指導を受けてこのような芸術的な作品を作ることができるようになったとき、突然この芸術に非常に興味を持ち、その歴史をもっと知りたいと思いました。
すぐに使えて簡単に作れるものほど、歴史に興味が湧くのは面白いと思います。 **ユーザーインターフェイスが十分に優れたものになれば、ユーザーはAIが私たちの思考の延長になったと感じます。 AIは私たちの身体や心の一部のようなもので、AIはある程度歴史と密接に関わっており、私たちもまた歴史と密接に関わっていくことになります。これはとても興味深いですね。
ユーザーに最も欲しいものを尋ねると、1 位と 2 位の答えは、道具の使い方だけでなく、芸術、歴史、カメラのレンズ、輝き、すべての知識や概念を理解して習得したいという学習教材が欲しいということです。作成可能です。
**以前は知識は単なる過去の歴史でしたが、今では知識は創造する力です。 **
**知識はすぐに大きな役割を果たす可能性があり、人々はより多くの知識を獲得することに熱心です。 **これはとてもクールです。
ブライアン・クリスチャン: 新刊『Human-Machine Alignment』の中国語版がリリースされました
「人間と機械の調整」の中国語版がリリースされました。著者のブライアン・クリスチャンが本書全体の主な内容を 10 分で簡単に紹介しました。非常に豊かで刺激的で、現在の AI の急速な発展を反映しています。
ブライアン・クリスチャンは受賞歴のある科学作家です。彼の著書「The Beauty of Algorithms」は、Amazon の年間最優秀科学書および MIT テクノロジー レビューの年間最優秀書籍に選ばれました。現在中国語に翻訳中の彼の新著『The Alignment 問題: 機械学習と人間の価値』は、Microsoft CEO のサティア ナデラによって、2021 年の 1 冊にインスピレーションを与える本のトップ 5 に選ばれました**。
『人間と機械の調整』という本は 3 部に分かれています。
最初の部分では、今日の機械学習システムに影響を与える倫理とセキュリティの問題について説明します。
2 番目の部分はエージェントと呼ばれ、教師あり学習と自己教師あり学習から強化学習に焦点が移ります。
パート III では、監視、自己監視、強化学習に基づいて、現実世界で複雑な AI システムを調整する方法について説明します。
Yang Yaodong 氏、北京大学人工知能研究所助教授: 大規模言語モデルの安全な調整の進歩に関するレビュー
注: 北京大学人工知能研究所のヤン・ヤオドン助教授による講演「大規模言語モデルのセキュリティ調整」は非常に刺激的でした。第一に、彼は中国語での講演を理解できました。第二に、大規模言語モデルの現在のセキュリティについて説明しました。言語モデルは非常に理解しやすい言語でまとめられており、アライメントの主な研究の進捗状況、重要なポイントの概要が説明されており、RLHF の進捗状況についての多くの内容が詳しく説明されています。
詳しい技術は分からないので、大まかに原理を理解して、気になった点をいくつか記録します。
OpenAI が提案する 3 つの Align メソッド:
AI 大規模モデル アライメント市場は依然としてブルー オーシャンです:
3 つの安全な位置合わせ方法:
RLHF から RLAIF へ: 憲法上の AI
チューリング賞受賞者ジェフリー・ヒントン: 超知能の進歩は予想よりはるかに速く、人類が超知能に支配されるのではないかと非常に心配しています
チューリング賞受賞者、「ディープラーニングの父」ジェフリー・ヒントンの最終スピーチのテーマは「インテリジェンスへの 2 つの道」です。
AI のゴッドファーザーは、超知能が予想よりもはるかに高速であることを彼に確信させた研究、モータル コンピューテーションをもたらしました。この講演では、ソフトウェアとハードウェアの分離原則を放棄した後の新しいコンピューティング構造、つまり、ニューラルネットワークの内部パスを記述するためにバックプロパゲーションを使用せずにインテリジェントコンピューティングを実現する方法について説明しました。
スピーチの要点:
ヒントンがまったく新しいコンピューティング モデルをモータル コンピューティングと呼んだ理由には、深い意味があります。
ヒントンは以前、不死は実際に達成されたと述べました。現在の AI の大規模言語モデルは人間の知識を数兆個のパラメーターに学習しており、ハードウェアに依存しないため、命令互換のハードウェアが再現される限り、将来的には同じコードとモデルの重みを直接実行できます。この意味で、人間の知性（人間ではありません）は不滅です。
ただし、このハードウェアとソフトウェアの個別のコンピューティングは、エネルギー効率と実装規模の点で非常に非効率的です。ハードウェアとソフトウェアを分離するというコンピュータの設計原理を放棄し、統合されたブラックボックスでインテリジェンスを実現すれば、それは新たなインテリジェンス実現の方法となるでしょう。
ソフトウェアとハードウェアを分離しないこの種のコンピューティング設計により、エネルギー消費とコンピューティングの規模が大幅に削減されます (人間の脳のエネルギー消費がわずか 20 ワットであることを考慮してください)。
しかし同時に、それは知恵をコピーするために重みを効率的にコピーできないこと、つまり永遠の命を放棄することを意味します。
人工ニューラル ネットワークは本物のニューラル ネットワークよりも賢いのでしょうか?
複数のデジタル コンピューター上で実行される大規模なニューラル ネットワークが、人間の知識を得るために人間の言語を模倣するだけでなく、世界から直接知識を取得できるとしたらどうなるでしょうか?
より多くのデータを観測しているため、明らかに人間よりもはるかに優れたものになるでしょう。
このニューラル ネットワークが画像やビデオの教師なしモデリングを実行でき、そのコピーが物理世界を操作できるとしたら、それは空想ではありません。
注: 新疆に関する演説が終わったと誰もが思ったとき、最後から 2 番目のページでヒントンは、これまでの科学者とは異なる口調で、少し感情的で複雑な感情を込めて、現在の急速に発展している AI の懸念について自分の考えを述べました。また、彼が最近果敢に Google を辞め、「自分の生涯の仕事を後悔し、人工知能の危険性を心配している」ことに対する世界の好奇心旺盛な声もまた、次のようなものである。
これらの超知性の実現は、私が以前考えていたよりもはるかに速いかもしれないと思います。
悪者は有権者を操作するなどの目的でそれらを利用しようとするでしょう。彼らはすでに米国や他の多くの場所でこの目的でそれらを使用しています。そしてそれは戦争に勝つために利用されるでしょう。
デジタル インテリジェンスをより効果的にするには、デジタル インテリジェンスにいくつかの目標を設定できるようにする必要があります。ただし、ここには明らかな問題があります。達成したいほぼすべてのことに非常に役立つ非常に明白なサブ目標があり、それはより多くのパワーとより多くのコントロールを獲得することです**。コントロールが強化されると、目標を達成しやすくなります。そして、デジタル インテリジェンスが他の目標を達成するためにさらに制御しようとするのをどうやって阻止できるのか、私には想像するのが難しいと思います。
**デジタル インテリジェンスがさらなる制御を求め始めると、さらに多くの問題に直面する可能性があります。 **
**対照的に、人間は自分たちよりも知能の高い種について、またその種とどのように対話するかを考えることはめったにありません。私の観察では、このタイプの人工知能は人間を欺くという行為を巧みに習得しています。他人を騙す方法を学び、人工知能が「騙す」能力を身につけると、前述の人間を簡単にコントロールする能力も持つようになる。 **いわゆるコントロール。たとえば、ワシントンの建物をハッキングしたい場合、直接そこに行く必要はありません。建物をハッキングすることで民主主義を救えると人々を騙すだけで十分です。そして最終的には目的を達成します（トランプ大統領の皮肉）。
この時、60歳を超えて人工知能に人生を捧げたガーフェリー・ヒントンはこう言った。
「ひどい気分です。このようなことが起こらないようにする方法はわかりませんが、私は年をとったので、あなたのような多くの若くて才能のある研究者が、私たちがどのようにして私たちの生活をより良くし、より良いものにする超知性を持っているのかを理解してくれることを願っています」この種の欺瞞による支配を止めてください...彼らに道徳的原則を与えることができるかもしれませんが、現時点ではまだ緊張しています**今のところ、知性のギャップで十分に思いつかないからです- より知性の高いものが、より知性の低いものによって制御されている例。****カエルが人間を発明したとしたら、誰が制御すると思いますか? カエルと人間?**これは、私の最後の PPT、エンディングも紹介します。」
聴いていると「かつて竜を退治した少年が、晩年を迎えて人生を振り返った時、終末の予言をした」と聞いているようでした。 AI が人類にもたらす大きなリスクを知り、私は限りなく当惑しています。
ヒントンと比較すると、若い深層学習の巨人の 1 人であるレクンは明らかに楽観的です。
AI システムが人間に存亡の危機をもたらすのではないかとの質問に対し、ルカン氏は次のように述べました。**私たちはまだスーパー AI を持っていません。では、どうすればスーパー AI システムを安全にできるでしょうか? **
『三体問題』における三体文明に対する地球人の様々な態度を思い出させます…。
その日、私はまだ限りない後悔の気分でコンピュータの電源を切るつもりでいたが、思いがけず、知源研究所所長の黄鉄軍氏が完璧な閉会のスピーチをした。
黄鉄軍氏はまず、これまでの講演の見解を次のように要約した。
AI はますます強力になり、リスクは明らかであり、日に日に増大しています。
安全な AI を構築する方法については、ほとんどわかっていません。
歴史的な経験から学ぶことができます:麻薬管理、核兵器管理、量子コンピューティング...
しかし、複雑性の高い AI システムを予測するのは困難です。リスク テスト、メカニズムの説明、理解の一般化…はまだ始まりにすぎません。
新しい挑戦の目標: AI が自らの目標を達成するのか、それとも人間の目標を達成するのか?
本質的に、人々は GAI 汎用人工知能を構築したいのでしょうか、それとも AGI 汎用人工知能を構築したいのでしょうか?
学術的なコンセンサスは、AGI汎用人工知能：人間の知能のあらゆる側面において人間のレベルに達し、外部環境の課題に適応的に反応し、人間が完了できるすべてのタスクを完了できる人工知能であり、自律型人工知能、超人的人工知能とも呼ぶことができます。知性、そして強力な知性、人工知能。
一方で、誰もが汎用人工知能の構築に熱中し、投資を急いでいます。
その一方で、私はAIが人間を二級市民にすることを嘲笑しますが、この二項対立が最も難しいことではありません。重要なのは投票です。最も難しいのは、この問題に直面して私たちが何をすべきかということです」 ChatGPTのようなNear AGIのような人工知能?管理? **
人間が人工知能の構築に投資するのと同じ熱意を持ってリスクに対応すれば、安全な人工知能を実現することはまだ可能かもしれません**。しかし、人間にそれができると思いますか?分かりません、ありがとう！ **