目次

表紙
サンプルコード・正誤表・免責など
称賛の言葉
アーキテクチャとバリエーション
本書に寄せて
まえがき
謝辞
本書について
著者について
Part1 現代のTransformerモデルの基礎
第1章 Transformerはなぜ必要か
1.1 Transformerのブレークスルー／1.1.1 Transformer登場以前の翻訳
1.1.2 Transformerはどう違うのか
1.1.3 Attentionメカニズムを解き明かす
1.1.4 Multi-head Attentionの力
1.2 Transformerはどのように使うのか
1.3 Transformerはいつ使うのか、それはなぜか
1.4 TransformerからLLMへ：今も生き続ける設計図
1.5 本章のまとめ
第2章 詳解Transformer
2.1 seq2seqモデルからTransformerへ／2.1.1 RNNの訓練の難しさ
2.1.2 Attentionメカニズムの導入
2.1.3 勾配消失：Transformerによる解決
2.1.4 勾配爆発：勾配が大きくなりすぎて訓練が破綻するとき
2.2 モデルアーキテクチャ
2.2.1 エンコーダ・デコーダスタック
2.2.2 位置エンコーディング
2.2.3 Attention
2.2.4 位置ごとのフィードフォワードネットワーク
2.3 本章のまとめ
Part2 生成系Transformer
第3章 モデルファミリとアーキテクチャのバリエーション
3.1 デコーダのみのモデル／3.2 デコーダのみのアーキテクチャ
3.3 エンコーダのみのモデル
3.3.1 事前学習戦略としてのMLM
3.4 埋め込みモデルとRAG
3.4.1 埋め込みとは何か
3.5 LLMでのMoE／3.5.1 MoEの仕組み
3.6 本章のまとめ
第4章 テキスト生成戦略とプロンプティングテクニック
4.1 テキスト生成でのデコーディングとサンプリング／4.1.1 貪欲探索によるデコーディング
4.1.2 ビームサーチによるデコーディング
4.1.3 top-kサンプリング
4.1.4 top-p（nucleus）サンプリング
4.1.5 温度サンプリング
4.2 プロンプティングの技術
4.2.1 ゼロショットプロンプティング
4.2.2 ワンショットプロンプティングとフューショットプロンプティング
4.2.3 CoTプロンプティング
4.2.4 Instructorによる構造化CoT
4.2.5 Contrastive CoTプロンプティング／4.2.6 CoVeプロンプティング
4.2.7 ToTプロンプティング
4.2.8 ThoTプロンプティング
4.3 本章のまとめ
第5章 選好アライメントとRAG
5.1 人間のフィードバックによる強化学習（RLHF）／5.1.1 マルコフ決定過程（MDP）から強化学習へ
5.1.2 人間のフィードバックと強化学習によるモデルの改善
5.2 DPOによるLLMのアライメント
5.2.1 SFTステップ
5.2.2 DPOによるLLMの訓練
5.2.3 学習済みLLMで推論を実行する
5.2.4 DPOの最適化バージョン／5.2.5 GRPO
5.3 MixEval：堅牢かつコスト効率の高い評価のためのベンチマーク
5.4 RAG
5.4.1 初めてのRAG
5.4.2 RAGを使う理由とその状況
5.4.3 主要なコンポーネントと設計上の選択
5.5 本章のまとめ
Part3　専門化されたモデル
第6章 マルチモーダルモデル
6.1 入門：マルチモーダルモデル
6.2 異なるドメインのモダリティを統合する
6.3 モダリティ固有のトークン化／6.3.1 画像と視覚埋め込み
6.3.2 MLLMによる画像分析
6.3.3 画像パッチから動画チューブレットへ
6.3.4 動画情報の抽出
6.3.5 音声埋め込み
6.3.6 音声専用パイプライン：抽出と推論
6.4 マルチモーダルRAG：PDFから画像、表、モデル間の比較まで
6.5 本章のまとめ
第7章 効率的な特化型SLM
7.1 小さいは強い
7.2 SLM：スペシャリストからなるシステムにおけるエージェント
7.3 SLMによる分類
7.3.1 分類性能を評価する
7.3.2 正解率とF1スコア
7.3.3 Financial PhraseBankデータセットでのSLMのファインチューニング
7.4 Gemma 3 270M：共感と向社会的なトーンへの適応
7.5 Gemma 3 270M：英西翻訳への適応
7.6 より広範なユースケースと補完的モデル
7.7 本章のまとめ
第8章 LLMの訓練と評価
8.1 詳解：ハイパーパラメータ／8.1.1 パラメータとハイパーパラメータは勾配降下法にどのように関与するか
8.2 モデルのチューニングとハイパーパラメータ最適化
8.2.1 実験の追跡
8.3 LLMのパラメータ効率の高いファインチューニング（PEFT）
8.3.1 低ランク適応（LORA）
8.3.2 重み分解低ランク適応（DoRA）
8.3.3 量子化
8.3.4 QLORAによる量子化LLMの効率的なファインチューニング
8.3.5 量子化対応低ランク適応（QA-LORA）
8.3.6 低ランク＋量子化行列分解（LQ-LORA）／8.3.7 まとめ：適切なPEFT戦略の選択
8.4 本章のまとめ
第9章 LLMの最適化とスケーリング
9.1 モデルの最適化／9.1.1 モデルのブルーニング（刈り込み）
9.1.2 モデルの蒸留
9.2 メモリ最適化のためのシャーディング
9.3 推論の最適化
9.4 GPUレベルの最適化：タイル化、スレッド、メモリ
9.4.1 FlashAttention：大規模にスケールするタイル化Attention
9.5 長コンテキストウィンドウの拡張
9.5.1 ROPEとその改良
9.5.2 改良：YaRN、位置補間、iRoPE
9.6 本章のまとめ
第10章 倫理的かつ責任あるLLM
10.1 LLMのバイアスを理解する／10.1.1 バイアスを特定する
10.1.2 AIにおけるモデルの解釈可能性とバイアス
10.2 LLMの透明性と解釈可能性／10.2.1 Captumを使って生成言語モデルの挙動を分析する
10.2.2 LIMEを使ってモデルの予測を説明する
10.3 責任あるLLMの利用
10.3.1 Foundation Model Transparency Index
10.4 言語モデルの保護
10.4.1 ジェイルブレイクとライフサイクル上の脆弱性
10.4.2 危険な悪用からモデルを保護する
10.5 本章のまとめ
参考資料
索引
翻訳者プロフィール／STAFF LIST
奥付