高村 大也（産業技術総合研究所 人工知能研究センター 研究チーム長）

(注)　本記事は，中央経済社発行の月刊誌『企業会計』2023年11月号掲載の特集「経理の生成AI入門」をnoteの有料記事として販売するものです。

▶マガジンはこちら

Summary

ChatGPTを含む大規模言語モデルの仕組み，学習方法，周辺技術について，最も重要である話題を厳選し，直観的な説明を試みる。読者の方々が，世の中に溢れる大規模言語モデルに関する発言や文章がおおよそ何を言っているのかがわかるようになることを目指す。

Ⅰ　背景と本稿の狙い

2022年11月に公開された対話型大規模言語モデルChatGPTには多くの人が驚いただろう。一般の人だけでなく，専門家の多くもその性能の高さに驚いた。言葉で指示を出すと様々なタスクを実行してくれるものであるが，その仕組みはかなりシンプルである。ある意味出るべくして出てきた技術ではあるが，ここまでうまく動くとは想像していなかった研究者が多いのではないか。さらにAPIやプラグインも整備され，活用範囲が広がった。多くの企業や組織が導入を計画し，また研究機関や企業の研究所も大規模言語モデルの開発に力を注いでいる。今後もこの流れは続くと考えられ，大規模言語モデルは無視できない存在となっている。

大規模言語モデルとの付き合い方はいろいろありうるが，可能な範囲でその仕組みを知っておくことは重要であろう。本稿では，大規模言語モデルの仕組み，学習方法，周辺技術について，最も重要である話題を厳選し，直観的な説明を試みる。読者の方々が，世の中に溢れる大規模言語モデルに関する発言や文章がおおよそ何を言っているのかがわかるようになることを目指す。

次に進む前に，少しだけ前提知識を共有しておく。大規模言語モデルはテキストデータで学習されるが，学習には事前学習（pretraining）とファインチューニング（fine-tuning）がある。事前学習では，大量のテキストデータで次にどんな単語が出現するかを予測できるように学習する。事前学習のみ行われたモデルをベースモデルとよぶ（＊1）。ファインチューニングは，ベースモデルをさらに特定のタスクに特化させたり，新しい能力を覚えさせたりする学習段階である。特に，ChatGPTなどの対話型大規模言語モデルでは，指示チューニングとよばれるファインチューニングが行われている。