GPT-1からGPT-4まで：言語モデルの進化を振り返る

GPTの歴史を読むときは、発表当時の成果と現在のサービスを分けることが大切です。本記事はGPT-1からGPT-4までの研究上の流れを扱います。GPT-4を「未発表」「現在の最新モデル」とする説明は現状に合いません。

学習したモデルを別の課題に利用する

これは歴史の概略で、現在の製品の順位や提供条件を示す図ではありません。

1. 1GPT・GPT-2事前学習したモデルを、多様な課題へ活用する流れ。
2. 2GPT-3：2020年入力に少数の例を含めるfew-shot設定を評価。
3. 3InstructGPT：2022年人の回答例や比較を使い、指示への適合を調整。
4. 4GPT-4：2023年画像とテキストを扱う能力と、残る信頼性の制約を報告。

入力へ例を渡すことと、その場で重みを再学習することは別です。各研究が示した条件は本文の原論文で確認できます。

GPT系列を理解する入口は、大量のテキストから言語の規則性を学び、それをさまざまな課題に利用する考え方です。文の続きを予測する学習が、文章の分類や質問への回答などにつながります。ただし、自然な文章を書けることと、記述した事実が正しいことは別の評価項目です。

初期のGPTとGPT-2の時代は、事前学習した言語モデルを多様なタスクに利用する流れが広がりました。ここで覚えたいのは、世代名を暗記することより、個別の用途ごとに一から作る設計から、共通のモデルを活用する設計への変化です。初期モデルの細かな性能数値は、本記事では未確認の推定を補って掲載しません。

GPT-3：少数の例を文脈に渡す

2020年のGPT-3論文は、1,750億パラメーターのモデルと、少数の例を入力に含めるfew-shot設定を報告しました。例を渡して取り組ませることと、その場でモデルの重みを再学習することは同じではありません。GPT-3の原論文

たとえば「問い合わせ文→担当部署」という例を数件示し、続く問い合わせを分類させる方法です。例にない部署や曖昧な問い合わせをどう扱うかまで決める必要があります。パラメーター数だけで、自分の業務での正解率は判断できません。

指示に沿うように調整する研究

2022年のInstructGPT研究では、人が示した望ましい回答と、人による回答の比較を使ってモデルを調整しています。これは、文章の続きを予測する能力に加え、利用者の意図に沿う回答を目指す研究です。InstructGPTの原論文

ただし、この研究で説明された手順が、以後のすべての製品で全く同じように使われているとは断定できません。論文が明らかにした範囲と、非公開の実装を区別して読みます。

GPT-4：扱う入力の広がりと残る制約

2023年のGPT-4技術報告は、画像とテキストを入力として扱うモデルを説明しています。一方で、誤った情報の生成や信頼性の限界も報告しています。モデルの研究上の対応能力が、そのまま各サービスの全利用者へ同じ日に提供されるわけではありません。GPT-4技術報告

歴史を現在の選び方に生かす

今のモデルを選ぶ際は、古い世代の評判をそのまま当てはめず、入力形式、課題、評価基準、費用を揃えて試します。「大きいから万能」「新しいから必ず正確」という判断を避けるためにも、研究の条件を確認する習慣が役立ちます。

現在の提供モデルは公式モデル一覧で確認できます。サービスの入口はChatGPTの基礎、学習の仕組みは事前学習と生成の違い、実務での選定はモデルを比較する手順をご覧ください。