原文：Fudan Business Knowledge 画像ソース: Unbounded AI によって生成人類の文明は、すべての人間の人生の痕跡の記録の総和であると考えることができます。では、人類が記録したあらゆる知識を学習するスーパーブレインが存在すれば、私たちはより輝かしく豊かな文明を築くことができるでしょうか?2022 年 12 月、「サイエンス」誌によって科学分野のブレークスルー トップ 10 の 1 つに選ばれた AIGC がこの夢を現実にします。 AIGCの正式名称はAI-Generated Content、つまり人工知能技術を利用してコンテンツを自動生成する生成AIです。 AIGC にとって、2022 年は驚異的な成長の年となると考えられています。 **AIGC は、今日の AI 分野で最も人気があり、ファンタジーに満ちた開発方向であると言えます。AIGC の開発により、ライティング アシスタント、AI ペインティング、対話ロボット、デジタル ヒューマン、オフィスなどの爆発的なアプリケーションが誕生しました。人間とコンピュータの相互作用を通じて形成されるソフトウェア アシスタント、記録、学習、再作成の新しいパラダイム。 **そこで、切実な疑問が生じます。AIGC は人工知能の新しい波をどのように後押しするのでしょうか?## 記録、学習、再現ヒーローは必ずしも些細なことから始まるわけではなく、OpenAI の物語は、人工知能の将来に不安を抱く新興起業家のグループから始まります。 GPTシリーズは、OpenAIが丁寧に用意した様々なフィードによって培われたスーパー頭脳のようなものです。設立から約 3 年半を経て作成された GPT-2 モデルは、OpenAI の最初の真の代表作です。 GPT-2 には 15 億のパラメータが含まれており、800 万件の Reddit フォーラム投稿をフィードし、合計 40 GB のテキストをフィードしており、テキストを書き続ける能力を示しています。例えば『ロード・オブ・ザ・リング』では文章を入力すると真と偽の区別がつかない続きが生成され、プロットは原作とは異なりますが、論理的だと思われます。OpenAI は、この超脳がより多くのコーパスを食べることができたら、どのような能力を持つようになるかを必死に知りたかったため、1,750 億のパラメータを持つ GPT-3 が誕生しました。 GPT-3 トレーニングだけでも数千万ドルの費用がかかり、専門家は過去 12 年間に 6,000 万のドメイン名から収集したニュースレポート、投稿、全文書籍、さまざまな Web ページを含む数千億の英単語をモデルに入力しました。 。今回のGPT-3は、より強力な言語生成能力を備えているだけでなく、優れた文脈学習能力と豊富な世界知識を備えており、詩を書いたり、ニュースレポートを書いたり、質問に答えたり、コードを書いたりすることに熟達しています。最新の GPT-4 はデータ処理能力と理解能力が強化されており、以前の ChatGPT の 8 倍である 25,000 ワードのテキストを受信および生成できます。また、論理的思考力やイメージ理解力も大きく飛躍しました。 OpenAI は、おそらく AI の記録、学習、再作成のパラダイムを最も忠実に実践しているでしょう。エディンバラ大学とアレン人工知能研究所の推測によると、GPT-3、GPT-3.5、GPT-4 に至るまで、OpenAI は内部で複数のバージョンを繰り返してきました。 **ChatGPTは、ヒューマンフィードバック強化学習に基づいて指示の微調整を行い、文脈学習能力を大幅に軽減することで、きめ細やかな対応、公平な対応、不適切な質問の拒否、知識範囲を超えた質問の拒否の4つの能力を向上させます。 **## **AIGC の途中**AIGCにはChatGPTに代表される言語生成技術のほか、画像生成、動画生成、音声生成などが含まれます。 **中国情報通信技術院発行の「AIGC白書」によると、AIGC の長い開発プロセスは、大きく次の 3 つの段階に分けられます。****初期の初期段階 (1950 年代～1990 年代): **技術レベルの制限により、AIGC は小規模な実験に限定され、生成されるコンテンツはあまり現実的ではありません。 1957 年、レジャレン ヒラーとレナード アイザックソンは、コンピューター プログラム内の制御変数を音符に変更することにより、史上初のコンピューター生成音楽作品を完成させました。弦楽四重奏曲「イリヤック組曲」です。 1966年、Joseph Weizenbaum（ジョセフ・ワイゼンバウム）とKenneth Colby（ケネス・コルビー）は、キーワードのスキャンと組み換えを使用してインタラクティブなミッションを完了する世界初のロボット「Eliza」（エリザ）を共同開発しました。 1980 年代半ば、IBM は隠れマルコフ連鎖モデルに基づいて、20,000 語を処理できる音声制御タイプライター「Tangora」を開発しました。現段階では、AIGC は専門家が書いたルールを学習することによってのみ生成されており、専門家が演じるマリオネットのように一般化能力は非常に限られています。**堆積物蓄積段階 (1990 年代～2010 年代): **AIGC は実験から実用へと徐々に変化しました。深層学習アルゴリズム、グラフィックス プロセッシング ユニット (GPU)、テンソル プロセッサ (TPU)、トレーニング データ スケールにおいて大きな進歩が見られました。 2007 年、ニューヨーク大学の人工知能研究者ロス グッドウィン (Ross Goodwin) によって組み立てられた人工知能システムは、ロードトリップ中に見聞きしたものを記録し知覚することによって、世界初の完全な人工知能の創造物を作成しました。 。 2012 年、マイクロソフトは完全自動同時通訳システムを公開し、ディープ ニューラル ネットワーク (DNN) を通じて、音声認識、言語翻訳、音声合成などのテクノロジを通じて、英語話者の内容を中国語の音声に自動的に生成できます。この段階で、AIGC は人間が記録した少量のデータを自動的に学習し始め、一定の汎化能力を習得しましたが、アルゴリズムのボトルネックによって制限されており、生成効果を改善する必要があります。この時点での AIGC は、一見まともそうに見えて何も知らない、真似が得意なオウムのようなものです。**急速な開発段階 (2010 年代から現在):**2014 年以降、生成型深層学習アルゴリズムの導入とトレーニング データの規模の急速な拡大により、AIGC で生成されたコンテンツの効果は徐々に現実的になってきており、人間は区別すること。 2017年、マイクロソフトの人工知能少女「シャオビン」は、完全に人工知能によって作られた世界初の詩集「Sunshine Lost the Glass Window」を発売した。 2018年にNvidiaがリリースしたStyleGANモデルは画像を自動生成することができ、それによって生成された高解像度の画像は人間の目ではほとんど区別できません。 2021 年に OpenAI は DALL-E をローンチし、その 1 年後にアップグレード バージョンの DALL-E-2 をローンチしました。ユーザーは短い説明テキストを入力するだけで、DALL-E-2 は対応する非常に高品質の漫画、リアルで抽象的な漫画を作成できますおよび他のスタイルの絵画。 2022年7月にはオープンソースのAIペイントツール「Stable Diffusion」がリリースされ、一般人でもプロの画家レベルの作品を制作できるようになった。同年8月には米国のコロラドステートフェアでAIが制作したアート作品「スペースオペラハウス」が最優秀賞を受賞した。今後リリースされる Make-A-Video、Imagen Video、Phenaki などのモデルでは、テキスト説明付きのビデオを生成できます。 ** 2022 年 11 月 30 日、OpenAI はチャット ロボット ChatGPT をリリースし、AIGC 時代が完全に幕を開け、生成されたコンテンツが隆盛を極めています。 **## **データ燃料**約 70 年にわたる技術の蓄積を経て、AIGC は人工知能産業の重要な形態になりました。 2022年、Googleの研究者らは「大規模言語モデルの新たな能力」と題した論文を発表し、言語モデルが大きすぎて特定の臨界値を超えた場合、より小さなモデルには備わっていない能力が出現することを発見した。 **近年、GPT-4やChatGPTに代表される大規模モデル技術の目覚ましい成果により、モデルやデータの大規模化が既存技術のボトルネックを突破する有効な手段であることがわかってきました。AI モデルのサイズは本質的により多くのデータに対応するために大きくなっていますが、人間によって記録された高品質のデータは近い将来枯渇する可能性があります。人工知能の研究および予測機関であるエポック社は、査読なしの論文の中で、2023 ～ 2027 年、2030 ～ 2050 年、および 2030 年に高品質のテキスト データ、低品質のテキスト データ、および画像データが人工的に処理されると予測しました。それぞれ-2070年、知性が枯渇した。そのとき、AIGC ベースのデータ合成は人工知能の新たな燃料となるでしょう。現在、人工知能が生成するデータは全データの 1% 未満です。**コンサルティング会社 Gartner (ガートナー) の予測によると、2025 年までに人工知能が生成するデータは全データの 10% を占めるようになるでしょう。データ。 ** したがって、できるだけ早く完全なAIGC産業エコロジーを確立し、ユーザーがAIGCと積極的に対話してデータを生成できるようにすることで、データフライホイールを形成し、人工知能技術の進歩を促進し続けることになります。将来的には、科学のための AIGC が深海領域となり、「人工知能が科学研究の未来を切り開く」人工知能技術応用の新たな主戦場となる可能性があります。 **過去、インターネット企業のデータ配当は尽きましたが、科学分野では大量の実験データが蓄積されてきました。カリフォルニア州バークレーの新興企業は、2億8000万個のアミノ酸配列を与えた後、モデルにタンパク質の言語を学習させ、ゼロから新しいタンパク質を合成することを初めて実現した。 AIGC が科学にもたらすイノベーションは本格化しています。 **2025 年までに、30% 以上の医薬品と材料が AIGC の支援により発見されると予測されています。 **将来的には、人間と AIGC が連携し、コンテンツの創造と知識の発見が共生することになりますが、人間の奥深いものすべてが AI によって変わるわけではありません。 OpenAI CEO の Sam Altman (サム アルトマン) はかつてこう思い描いていました。 **人間として、私たちは今でも人々の間の交流に注意を払い、人間の脳の報酬メカニズムは変わっていません。私たちは依然として幸福を追求し、創造したいという願望を持っています。競争への欲求、家族を形成したいという欲求... 5万年前に人間が気にしていたことは、100年後にも人間は気にするでしょう。 **Sam Altman 氏はまた、ChatGPT の人気により、誰もが AGI (汎用人工知能) が私たちに近づいているように感じていると述べましたが、実際には、ChatGPT に似た大規模な言語モデルはまだ AGI からは遠く離れており、私たちはまだ将来は長い道のりです。変化と不変の間に、AIGC が引き起こした波が到来しました。
AIGC、コンテンツ生成の波が到来
原文：Fudan Business Knowledge
人類の文明は、すべての人間の人生の痕跡の記録の総和であると考えることができます。では、人類が記録したあらゆる知識を学習するスーパーブレインが存在すれば、私たちはより輝かしく豊かな文明を築くことができるでしょうか?
2022 年 12 月、「サイエンス」誌によって科学分野のブレークスルー トップ 10 の 1 つに選ばれた AIGC がこの夢を現実にします。 AIGCの正式名称はAI-Generated Content、つまり人工知能技術を利用してコンテンツを自動生成する生成AIです。 AIGC にとって、2022 年は驚異的な成長の年となると考えられています。 **AIGC は、今日の AI 分野で最も人気があり、ファンタジーに満ちた開発方向であると言えます。AIGC の開発により、ライティング アシスタント、AI ペインティング、対話ロボット、デジタル ヒューマン、オフィスなどの爆発的なアプリケーションが誕生しました。人間とコンピュータの相互作用を通じて形成されるソフトウェア アシスタント、記録、学習、再作成の新しいパラダイム。 **そこで、切実な疑問が生じます。AIGC は人工知能の新しい波をどのように後押しするのでしょうか?
記録、学習、再現
ヒーローは必ずしも些細なことから始まるわけではなく、OpenAI の物語は、人工知能の将来に不安を抱く新興起業家のグループから始まります。 GPTシリーズは、OpenAIが丁寧に用意した様々なフィードによって培われたスーパー頭脳のようなものです。
設立から約 3 年半を経て作成された GPT-2 モデルは、OpenAI の最初の真の代表作です。 GPT-2 には 15 億のパラメータが含まれており、800 万件の Reddit フォーラム投稿をフィードし、合計 40 GB のテキストをフィードしており、テキストを書き続ける能力を示しています。例えば『ロード・オブ・ザ・リング』では文章を入力すると真と偽の区別がつかない続きが生成され、プロットは原作とは異なりますが、論理的だと思われます。
OpenAI は、この超脳がより多くのコーパスを食べることができたら、どのような能力を持つようになるかを必死に知りたかったため、1,750 億のパラメータを持つ GPT-3 が誕生しました。 GPT-3 トレーニングだけでも数千万ドルの費用がかかり、専門家は過去 12 年間に 6,000 万のドメイン名から収集したニュースレポート、投稿、全文書籍、さまざまな Web ページを含む数千億の英単語をモデルに入力しました。 。今回のGPT-3は、より強力な言語生成能力を備えているだけでなく、優れた文脈学習能力と豊富な世界知識を備えており、詩を書いたり、ニュースレポートを書いたり、質問に答えたり、コードを書いたりすることに熟達しています。最新の GPT-4 はデータ処理能力と理解能力が強化されており、以前の ChatGPT の 8 倍である 25,000 ワードのテキストを受信および生成できます。
また、論理的思考力やイメージ理解力も大きく飛躍しました。 OpenAI は、おそらく AI の記録、学習、再作成のパラダイムを最も忠実に実践しているでしょう。エディンバラ大学とアレン人工知能研究所の推測によると、GPT-3、GPT-3.5、GPT-4 に至るまで、OpenAI は内部で複数のバージョンを繰り返してきました。 **ChatGPTは、ヒューマンフィードバック強化学習に基づいて指示の微調整を行い、文脈学習能力を大幅に軽減することで、きめ細やかな対応、公平な対応、不適切な質問の拒否、知識範囲を超えた質問の拒否の4つの能力を向上させます。 **
AIGC の途中
AIGCにはChatGPTに代表される言語生成技術のほか、画像生成、動画生成、音声生成などが含まれます。 中国情報通信技術院発行の「AIGC白書」によると、AIGC の長い開発プロセスは、大きく次の 3 つの段階に分けられます。
**初期の初期段階 (1950 年代～1990 年代): **技術レベルの制限により、AIGC は小規模な実験に限定され、生成されるコンテンツはあまり現実的ではありません。 1957 年、レジャレン ヒラーとレナード アイザックソンは、コンピューター プログラム内の制御変数を音符に変更することにより、史上初のコンピューター生成音楽作品を完成させました。弦楽四重奏曲「イリヤック組曲」です。 1966年、Joseph Weizenbaum（ジョセフ・ワイゼンバウム）とKenneth Colby（ケネス・コルビー）は、キーワードのスキャンと組み換えを使用してインタラクティブなミッションを完了する世界初のロボット「Eliza」（エリザ）を共同開発しました。 1980 年代半ば、IBM は隠れマルコフ連鎖モデルに基づいて、20,000 語を処理できる音声制御タイプライター「Tangora」を開発しました。現段階では、AIGC は専門家が書いたルールを学習することによってのみ生成されており、専門家が演じるマリオネットのように一般化能力は非常に限られています。
**堆積物蓄積段階 (1990 年代～2010 年代): **AIGC は実験から実用へと徐々に変化しました。深層学習アルゴリズム、グラフィックス プロセッシング ユニット (GPU)、テンソル プロセッサ (TPU)、トレーニング データ スケールにおいて大きな進歩が見られました。 2007 年、ニューヨーク大学の人工知能研究者ロス グッドウィン (Ross Goodwin) によって組み立てられた人工知能システムは、ロードトリップ中に見聞きしたものを記録し知覚することによって、世界初の完全な人工知能の創造物を作成しました。 。 2012 年、マイクロソフトは完全自動同時通訳システムを公開し、ディープ ニューラル ネットワーク (DNN) を通じて、音声認識、言語翻訳、音声合成などのテクノロジを通じて、英語話者の内容を中国語の音声に自動的に生成できます。この段階で、AIGC は人間が記録した少量のデータを自動的に学習し始め、一定の汎化能力を習得しましたが、アルゴリズムのボトルネックによって制限されており、生成効果を改善する必要があります。この時点での AIGC は、一見まともそうに見えて何も知らない、真似が得意なオウムのようなものです。
**急速な開発段階 (2010 年代から現在):**2014 年以降、生成型深層学習アルゴリズムの導入とトレーニング データの規模の急速な拡大により、AIGC で生成されたコンテンツの効果は徐々に現実的になってきており、人間は区別すること。 2017年、マイクロソフトの人工知能少女「シャオビン」は、完全に人工知能によって作られた世界初の詩集「Sunshine Lost the Glass Window」を発売した。 2018年にNvidiaがリリースしたStyleGANモデルは画像を自動生成することができ、それによって生成された高解像度の画像は人間の目ではほとんど区別できません。 2021 年に OpenAI は DALL-E をローンチし、その 1 年後にアップグレード バージョンの DALL-E-2 をローンチしました。ユーザーは短い説明テキストを入力するだけで、DALL-E-2 は対応する非常に高品質の漫画、リアルで抽象的な漫画を作成できますおよび他のスタイルの絵画。 2022年7月にはオープンソースのAIペイントツール「Stable Diffusion」がリリースされ、一般人でもプロの画家レベルの作品を制作できるようになった。同年8月には米国のコロラドステートフェアでAIが制作したアート作品「スペースオペラハウス」が最優秀賞を受賞した。今後リリースされる Make-A-Video、Imagen Video、Phenaki などのモデルでは、テキスト説明付きのビデオを生成できます。 ** 2022 年 11 月 30 日、OpenAI はチャット ロボット ChatGPT をリリースし、AIGC 時代が完全に幕を開け、生成されたコンテンツが隆盛を極めています。 **
データ燃料
約 70 年にわたる技術の蓄積を経て、AIGC は人工知能産業の重要な形態になりました。 2022年、Googleの研究者らは「大規模言語モデルの新たな能力」と題した論文を発表し、言語モデルが大きすぎて特定の臨界値を超えた場合、より小さなモデルには備わっていない能力が出現することを発見した。 **近年、GPT-4やChatGPTに代表される大規模モデル技術の目覚ましい成果により、モデルやデータの大規模化が既存技術のボトルネックを突破する有効な手段であることがわかってきました。
AI モデルのサイズは本質的により多くのデータに対応するために大きくなっていますが、人間によって記録された高品質のデータは近い将来枯渇する可能性があります。人工知能の研究および予測機関であるエポック社は、査読なしの論文の中で、2023 ～ 2027 年、2030 ～ 2050 年、および 2030 年に高品質のテキスト データ、低品質のテキスト データ、および画像データが人工的に処理されると予測しました。それぞれ-2070年、知性が枯渇した。
そのとき、AIGC ベースのデータ合成は人工知能の新たな燃料となるでしょう。現在、人工知能が生成するデータは全データの 1% 未満です。**コンサルティング会社 Gartner (ガートナー) の予測によると、2025 年までに人工知能が生成するデータは全データの 10% を占めるようになるでしょう。データ。 ** したがって、できるだけ早く完全なAIGC産業エコロジーを確立し、ユーザーがAIGCと積極的に対話してデータを生成できるようにすることで、データフライホイールを形成し、人工知能技術の進歩を促進し続けることになります。
将来的には、科学のための AIGC が深海領域となり、「人工知能が科学研究の未来を切り開く」人工知能技術応用の新たな主戦場となる可能性があります。 **過去、インターネット企業のデータ配当は尽きましたが、科学分野では大量の実験データが蓄積されてきました。カリフォルニア州バークレーの新興企業は、2億8000万個のアミノ酸配列を与えた後、モデルにタンパク質の言語を学習させ、ゼロから新しいタンパク質を合成することを初めて実現した。 AIGC が科学にもたらすイノベーションは本格化しています。 **2025 年までに、30% 以上の医薬品と材料が AIGC の支援により発見されると予測されています。 **
将来的には、人間と AIGC が連携し、コンテンツの創造と知識の発見が共生することになりますが、人間の奥深いものすべてが AI によって変わるわけではありません。 OpenAI CEO の Sam Altman (サム アルトマン) はかつてこう思い描いていました。 **人間として、私たちは今でも人々の間の交流に注意を払い、人間の脳の報酬メカニズムは変わっていません。私たちは依然として幸福を追求し、創造したいという願望を持っています。競争への欲求、家族を形成したいという欲求... 5万年前に人間が気にしていたことは、100年後にも人間は気にするでしょう。 **
Sam Altman 氏はまた、ChatGPT の人気により、誰もが AGI (汎用人工知能) が私たちに近づいているように感じていると述べましたが、実際には、ChatGPT に似た大規模な言語モデルはまだ AGI からは遠く離れており、私たちはまだ将来は長い道のりです。変化と不変の間に、AIGC が引き起こした波が到来しました。