AI言語モデルはどう学習する？事前学習・調整・回答生成の違い

AIが質問に答える動きは、「回答集から正解を一つ取り出す」だけでは説明できません。言語モデルは学習で得た規則性と、現在与えられた文脈を使って出力を生成します。仕組みを知ると、資料を渡す意味や、もっともらしい誤答が出る理由を理解しやすくなります。

全体の流れ

学習用データ → 事前学習 → モデルの重み
                          ↓
               指示や評価に基づく調整
                          ↓
質問＋資料＋利用可能なツール → 回答の生成

これは理解のための概略図です。現在のすべてのモデルが同一の学習工程を採用しているという意味ではありません。

事前学習で学ぶもの

代表的な自己回帰型の言語モデルでは、前の文脈から次のトークンを予測する学習を行います。トークンは処理上の単位で、必ず一単語や一文字と一致するわけではありません。学習では予測の誤差に応じて重みを調整します。

GPT-3論文は、このように学習したモデルへ少数の例を入力し、さまざまな課題に取り組ませる方法を評価しました。GPT-3論文

学習データの規模だけで、回答の正確さは説明できません。利用する資料、調整方法、評価対象なども関係します。公開されていない学習データ量や構成を、推定値のまま確定情報として扱わないことが大切です。

指示に沿うための調整

自然な続きを書くモデルが、そのまま利用者の希望する回答を返すとは限りません。InstructGPT研究では、人が作った回答例や、人による回答の比較を利用して調整しました。RLHFは人のフィードバックを使う強化学習を指します。InstructGPT論文

これは代表的な研究の説明です。「すべてのAIは必ず三段階で学ぶ」と覚えるより、事前学習で得た能力を、用途や望ましい振る舞いに合わせて調整する、と理解するとよいでしょう。

会話・検索・学習は別の働き

会話の中で情報を使うことを、学習そのものと分けます。

• 学習・調整学習データや評価を使って、モデルの重みを調整する。
• 今回の回答質問・渡した資料・取得した情報を文脈にして生成する。

会話へ資料を追加しただけで、モデル全体がその場で再学習したとはいえません。回答がその資料に沿っているかを確認します。

会話に資料を追加すると、その資料を文脈として使えます。検索ツールがあれば、外部の情報を取得して回答に利用できます。どちらも、それだけでモデル全体の重みをその場で更新したことにはなりません。

たとえば最新の社内手順を渡し、「この文書だけを根拠に答えて」と依頼する場合、確認すべきなのは回答が文書に沿っているかです。モデルがその情報を永久に覚えたと考えて、次の会話で資料を省略するのは避けましょう。会話をまたぐメモリーと、モデルの学習も分けて考えます。

流暢でも誤る理由と対処

回答の文章が自然でも、固有名詞や因果関係が正しいとは限りません。GPT-4の技術報告も信頼性の限界を説明しています。GPT-4技術報告

実務では、根拠となる資料を渡す、不明点を明示させる、数値を別途照合する、という手順を組み合わせます。「自信を持って答えて」と頼むより、「資料のどの記述に基づくか示して」と頼むほうが検証しやすくなります。

次は制約と倫理上の注意点で使う側の確認を整理できます。世代ごとの研究はGPT-1からGPT-4まで、実際の依頼例は業務での七つの使い方をご覧ください。