こんな話がある。「将来はAIがAIを作り、自ら進化するようになり人類の知能を超える。その後あらゆる発明はAIが行うようになる。だから人類最後の発明はAIだ。」
昨今のAIの進歩を見ていると「いずれは、そうなるだろう」私もそう考えていた。しかし、だいぶ後のこと、何年後か何十年後か先の事だと考えていた。
しかし2024年6月27日、CriticGPTと言うものが発表された。
CriticGPTとは簡単に表現すると『AIの間違いを直すAI』である。
具体的には有名な生成AIである対話型の大規模言語モデル、ChatGPTの最新版GPT-4の生成物を修正し、学習させる新しい大規模言語モデルだ。
まず現在の大規模言語モデルにはハルシネーションと言う問題が有る※誤認や論理の矛盾を含む事象や事実とは異なる情報を作り出してしまう現象のこと
大量のデータと高度なアルゴリズムで訓練された大規模言語モデルは驚くほど自然な文章やプログラミングコードを生成するのだが、時には事実と異なる文章を生成してしまうのだ。
しかし人間がハルシネーションを修正するのは不可能だ。なぜなら人間には人員や時間的な限界がある。大規模言語モデルは人間には数千年かけても読み切れない程の膨大な多言語データで訓練されている上に年々その量は増加している。
かといって自動的に高速で計算できるコンピューター上でGPT-4同士が修正し合っても限界がある。同じ大規模言語モデル同士では、時間とともにハルシネーションを修正可能な量が少なくなってしまい効果が無くなって行くためだ。
そこで今回開発されたのが新しい大規模言語モデルがCriticGPTだ。
CriticGPTは人間のAIトレーナーがフィードバックを加えることでGPT-4を強化学習したモデルだ。
例えばGPT-4にプログラミングをさせる。現在のGPT-4でも、なかなかのプログラミングコードを生成してくれるが、それを人間のプログラマーが更に修正した内容をフィードバックする。
人間が直接GPT-4を修正するのではなく、人間が強化学習したCriticGPTがGPT-4を修正する。
これによりGPT-4の修正はスーパーコンピューターの凄まじい処理能力で自動的に行われる。そしてコンピューターは今後も高性能化してトレーニングは加速する。
今は、まだ間接的に人間が手助けする必要があるが、自ら進化するAIの第一歩だ。
しかも複数の人間がAIトレーナーとしてCriticGPTをトレーニングして居るため、GPT-4の生成したコードを一人のプログラマーがコードレビューして修正するより、既にCriticGPTがコードレビューして修正したほうが間違いが少ないレベルに達しているそうだ。
生成AIがプログラミング出来るようになったのも最近のことだが、今までは「AIがプログラミング出来ても、そのコードレビューを行うために人間のプログラマーが必要だ」と言う意見が多かった。
しかし今日、AIは人間のプログラマーより正確にAIのプログラミングを修正できるようになったのだ。昨日と今日で、まるで話が変わる。凄まじい速さで進歩している。
今後、多くの分野の人間の専門家がAIトレーナーとなり更にCriticGPTを強化学習するだろう。そしてGPT-4は更に賢くなりハルシネーションも減り続ける。様々な人間の知識を学び、間違えない大規模言語モデルが生まれるのは、そう遠く無い未来かも知れない。
