図解即戦力　ChatGPTのしくみと技術がこれ1冊でしっかりわかる教科書

1章ChatGPT
01ChatGPTとは
ChatGPTの始め方
ChatGPTの利用例
02ChatGPTの便利な機能
チャットコメントの編集と操作
チャット履歴と共有
03プロンプトエンジニアリング
プロンプトとコンテキスト
プロンプトエンジニアリング
04ChatGPTのエンジン（大規模言語モデル）
GPT-4とGPT-3.5
Web検索連携機能
マルチモーダル機能（画像を用いたチャット）
Code Interpreter（プログラムの自動実行）
05GPTs（AIのカスタマイズ機能）
GPTs
GPTビルダー
06ChatGPT以外のAIチャットサービス
Google Gemini
Microsoft Copilot
Anthropic Claude
07AIチャットの利用における注意点
ランダム性がある
間違いを含む可能性がある
禁止行為
入力データの扱い
GPTsの利用における注意点

2章人工知能
08AI（人工知能）
人工知能とは
09AIの歴史
AI研究の歴史
10生成AIと汎用人工知能
生成AI
汎用人工知能（AGI）

3章機械学習と深層学習
11機械学習
機械学習≠機械が学習
機械学習の種類
推論と学習
最適化
汎化と過適合
12ニューラルネットワーク
ニューラルネットワークとは
ニューラルネットワークの仕組み
13ニューラルネットワークの学習
勾配法による学習
誤差逆伝播法
14正則化
ドロップアウト
バッチ正規化
ResNet（残差ネットワーク）
15コンピュータで数値を扱う方法
2進数による整数と小数の表現
浮動小数点数
浮動小数点数の代表的なフォーマット
浮動小数点数の精度とダイナミックレンジ
16量子化
モデルサイズとGPUのVRAMの関係
量子化
17GPUを使った深層学習
計算を速くする方法
GPU vs CPU
GPUの成り立ちと汎用計算
深層学習への特化が進むGPUとNPU
GPU/NPUのソフトウェアサポート

4章自然言語処理
18自然言語処理
深層学習以前の自然言語処理
自然言語処理と深層学習
19文字と文字コード
文字コード
Unicode
20単語とトークン
文をコンピュータに扱えるように分割する
単語や文字による分割
サブワード
21トークナイザー
トークナイザーの学習
語彙数とトークン数のトレードオフ
22Word2Vec
「概念」を扱う方法
Word2Vecによる単語のベクトル表現
Word2Vecが意味を獲得する仕組み
23埋め込みベクトル
トークンのベクトルは「意味」を表さない
埋め込みベクトル
さまざまな埋め込みベクトル

5章大規模言語モデル
24言語モデル
モデルとは
言語モデルとは
25大規模言語モデル
大規模言語モデルと「普通の言語能力」
26ニューラルネットワークの汎用性と基盤モデル
ニューラルネットワークによる特徴抽出
基盤モデル
基盤モデルで精度が上がる仕組み
27スケーリング則と創発性
スケーリング則と創発性
大規模言語モデルのパラメータ数
28言語モデルによるテキスト生成の仕組み
言語モデルによるテキスト生成
自己回帰言語モデル
貪欲法
29テキスト生成の戦略
ランダムサンプリングとソフトマックス関数
「温度」の働き
単語生成の樹形図
ビームサーチ
30言語モデルによるAIチャット
文生成によるAIチャット
大規模言語モデルによるAIチャットの問題点
31ローカルLLM
ローカルLLMとは
ローカルLLMの環境
ローカルLLMによる推論のプロセス
32大規模言語モデルのライセンス
ローカルLLMのエコシステム
ソフトウェアライセンス
大規模言語モデルのライセンスの種類
33大規模言語モデルの評価
大規模言語モデルの評価方法
リーダーボード
34大規模言語モデルの学習―事前学習―
事前学習と基盤モデル
自己教師あり学習
基盤モデルの追加学習
事前学習の訓練データ
35大規模言語モデルの学習―ファインチューニング―
ファインチューニング
ファインチューニングの方法
RLHF（Reinforcement Learning from Human Feedback）
LoRA（Low-Rank Adaptation）
36コンテキスト内学習
コンテキスト内学習（In-Context Learning）

6章トランスフォーマー
37回帰型ニューラルネットワーク（RNN）
ベクトルの次元
回帰型ニューラルネットワーク
言語モデルとしてのRNN
長距離依存性とLSTM
エンコーダー・デコーダー
38注意機構（Attention）
人間の認知と注意機構
注意機構の基本
エンコーダー・デコーダーと注意機構
39注意機構の計算
注意機構の計算
注意機構がうまく動く理由
40トランスフォーマー（Transformer）
トランスフォーマーの基本構成
位置エンコーディング
マルチヘッド注意機構
41BERT
BERT（バート）の特徴
BERTの事前学習
42GPT（Generative Pretrained Transformer）
GPTモデルの基本構造
Mixture of Experts

7章APIを使ったAI開発
43OpenAI APIの利用
OpenAI API
OpenAI API利用上の注意
44テキスト生成API（Completion API等）
テキスト生成APIの種類
45OpenAI APIの料金
OpenAI APIのトークン
テキスト生成モデルの種類と料金
OpenAIトークナイザーライブラリtiktoken
言語ごとのトークン数の違い
46テキスト生成APIに指定するパラメータ
テキスト生成APIのパラメータ
47テキスト生成APIと外部ツールの連携―Function Calling―
Function Calling
LangChainライブラリ
機械可読化ツールとしてのFunction Calling
48埋め込みベクトル生成APIと規約違反チェックAPI
埋め込みベクトル生成（Embeddings）API
埋め込みベクトル生成APIのモデルの種類
規約違反チェック（Moderation）API
49OpenAI以外の大規模言語モデルAPIサービス
Microsoft Azure OpenAI API
Google Vertex AI
Amazon Bedrock
50Retrieval Augmented Generation（RAG）
外部知識を使ったAIアプリケーションの開発
RAG（Retrieval Augmented Generation）

8章大規模言語モデルの影響
51生成AIのリスクとセキュリティ
生成AIによる悪影響
生成AIの悪用
生成AIが不適切な出力を行うリスク
生成AIを使ったサービスへの攻撃
対策とガイドライン
52AIの偏りとアライメント
学習データの偏りがAIに与える影響
AIの偏りを制御する方法
53 ハルシネーション（幻覚）
AIは間違える
ハルシネーションの正体
ハルシネーションの対策
ハルシネーションをなくせるか？
54AIの民主化
AI利用の民主化
AI開発の民主化
ビッグテックの計算資源
55大規模言語モデルの多言語対応
ChatGPTは何ヵ国語で使える？
大規模言語モデルの言語間格差
大規模言語モデルと認知・文化との関係
56AIと哲学
知能とは？ 言語とは？
中国語の部屋