つくりながら学ぶ！LLM 自作入門

マイナビ出版

Sebastian Raschka（著者）、巣籠悠輔（監訳）、株式会社クイープ（翻訳）

LLM (大規模言語モデル) をつくりながら学ぼう！

本書は、GPT型のLLM (大規模言語モデル) を一から理解して構築するために書かれました。
テキストデータの扱い方とAttentionメカニズムのコーディングの基礎を理解した後、完全なGPTモデルの実装に取り組みます。
本書の特徴は、LLMの構築プロセス全体を包括的にカバーしていることです。これには、モデルアーキテクチャを実装するためのデータセットの扱い方から、ラベルなしデータでの事前学習、そして特定のタスク向けのファインチューニングまでが含まれています。
本書を最後まで読めばLLMの仕組みがしっかりと理解でき、独自のモデルを構築するためのスキルを身につけることができるでしょう。作成するモデルは大規模な基礎モデルに比べれば規模は小さいものの、基になっている概念は同じです。最先端のLLMの構築に使われている中核的なメカニズムやテクニックを理解するための強力なツールとなるでしょう。

［対象読者］
・LLMの仕組みを理解し、独自のモデルを一から構築する方法を学びたいと考えている機械学習の愛好家、エンジニア、学生
・本書はPyTorchを活用しており、事前にPythonプログラミングを理解している必要があります。
・機械学習、ディープラーニング、人工知能（AI）の知識があれば役立ちますが、幅広い知識や経験は必要ありません。
・高校レベルの数学、ベクトルや行列の知識は本書を理解する助けとなりますが、高度な数学の知識は不要です。

［目次］
1章　大規模言語モデルを理解する
2章　テキストデータの準備
3章　Attentionメカニズムのコーディング
4章　テキストを生成するためのGPTモデルを一から実装する
5章　ラベルなしデータでの事前学習
6章　分類のためのファインチューニング
7章　指示に従うためのファインチューニング
付録A PyTorch 入門
付録B 参考資料
付録C 練習問題の解答
付録D 訓練ループに高度なテクニックを追加する
付録E LoRAによるパラメータ効率のよいファインチューニング

“Build a Large Language Model (from Scratch)”（Manning Publishing 刊）の日本語版

発売日：2025-03-03

ページ数：384ページ

1章　大規模言語モデルを理解する
2章　テキストデータの準備
3章　Attentionメカニズムのコーディング
4章　テキストを生成するためのGPTモデルを一から実装する
5章　ラベルなしデータでの事前学習
6章　分類のためのファインチューニング
7章　指示に従うためのファインチューニング
付録A　PyTorch 入門
付録B　参考資料
付録C　練習問題の解答
付録D　訓練ループに高度なテクニックを追加する
付録E　LoRAによるパラメータ効率のよいファインチューニング

著者プロフィール

Sebastian Raschka（著者）

Sebastian Raschka（セバスチャン・ラシュカ）： Lightning AI社でAIとLLM の研究開発に注力。以前はウィスコンシン大学マディソン校統計学部助教授。著書に『Python機械学習プログラミング［第3版］達人データサイエンティストによる理論と実践』（インプレス）がある。
巣籠悠輔（監訳）

［監訳］巣籠悠輔（すごもりゆうすけ）：株式会社MIRA代表取締役、日本ディープラーニング協会有識者会員。2018年にForbes 30 Under 30 Asia 2018 に選出。著書に『詳解ディープラーニング』、監訳書に『Pythonによるディープラーニング』(マイナビ出版) 等がある。
株式会社クイープ（翻訳）

［翻訳］株式会社クイープ： 1995年、米国サンフランシスコに設立。コンピュータシステムの開発、ローカライズ、コンサルティングを手がけている。2001年に日本法人を設立。主な訳書に『Python機械学習プログラミング［第3版］』『プログラマーなら知っておきたい40のアルゴリズム』（インプレス）、『なっとく！ AIアルゴリズム』（翔泳社）、『Pythonによるディープラーニング』（マイナビ出版）などがある。 http://www.quipu.co.jp

絶賛！発売中！

書籍一覧へ