目次

1章 開発環境について
　1.1 Anacondaの導入
　　1.1.1 Anacondaに含まれる主なツール
　　　Anaconda Navigator（アナコンダナビゲーター）
　　　Jupyter Notebook（ジュピターノートブック）
　　　Spyder（スパイダー）
　　1.1.2 Anacondaのインストール
　　1.1.3 Anaconda Navigatorを起動して仮想環境を用意する
　　1.1.4 ライブラリのインストール
　　　PyTorchを仮想環境にインストールする
　1.2 Jupyter Notebookを使う
　　1.2.1 Jupyter Notebookを仮想環境にインストールする
　　1.2.2 ノートブックを作成する
　　　ノートブックを保存するためのフォルダーを作成する
　　　ノートブックの作成
　　1.2.3 ソースコードを入力して実行する
　　　Jupyter Notebookのコマンド
　　1.2.4 ノートブックを閉じる／開く
　　　ノートブックを閉じる
　　　ノートブックを開く
　　1.2.5 Jupyter Notebookのメニューを攻略する
　　　［File］メニュー
　　　［Edit］メニュー
　　　［View］メニュー
　　　［Insert］メニュー
　　　［Cell］メニュー
　　　［Kernel］メニュー
　1.3 Spyderを使う
　　1.3.1 Spyderを仮想環境にインストールする
　　1.3.2 モジュールの保存
　　1.3.3 モジュールのプログラムを実行する
　　　実行中のプログラムの変数の値を確認する
　1.4 Google Colabを使う
　　1.4.1 Colabノートブック
　　　Colabの利用可能時間
　　1.4.2 Googleドライブ上のColab専用のフォルダーにノートブックを作成する
　　　Googleドライブにログインしてフォルダーを作成する
　　　ノートブックの作成
　　1.4.3 セルにコードを入力して実行する
　　1.4.4 Colabノートブックの機能
　　　［ファイル］メニュー
　　　［編集］メニュー
　　　［表示］メニュー
　　　［挿入］メニュー
　　　［ランタイム］メニュー
　　　［ツール］メニュー
　　　GPUを有効にする


2章 SSDによる物体検出
　2.1 物体検出の概要
　　2.2.1 物体検出とは
　　2.1.2 SSD（Single Shot MultiBox Detector）
　　2.1.3 SSDにおける物体検出の流れ
　　　物体検出の学習時の処理
　　　物体検出の推論時の処理
　　2.1.4 プログラミングの流れ
　　　データセットに関わるプログラミング
　　　SSDモデル
　　　学習と学習後における推論
　2.2 データセットの用意と前処理
　　2.2.1 VOCデータセットの概要
　　　VOC2007
　　　VOC2012
　　2.2.2 VOCデータセットとVGG16、SSD300の学習済み重みのダウンロード
　　　「data」フォルダーと「weights」フォルダーの作成
　　　VOC2012のダウンロードと解凍
　　　VGG16の学習済み重み、SSD300の学習済み重みのダウンロード
　　2.2.3 アノテーションデータをリスト化する
　　　プログラムの実行はノートブック、クラスなどの定義はモジュールで
　　　イメージとアノテーションのファイルパスをリスト化する（make_filepath_list（）関数）
　　　バウンディングボックスの座標と正解ラベルをリスト化するクラスの定義（GetBBoxAndLabelクラス）
　　2.2.4 イメージとアノテーションを前処理する
　　　COLUMN PyTorchとTorchvisionのインストール
　　　データ拡張の内容
　　　イメージの切り出し
　　　データの前処理を行うDataTransformクラスの定義
　　　データの前処理をイテレートする仕組みを提供するPreprocessVOC2012クラス
　　2.2.5 ミニバッチを生成するDataLoader
　　　DataLoaderでミニバッチを生成する
　2.3 SSDモデルの実装
　　2.3.1 畳み込みニューラルネットワーク（CNN）
　　　2次元フィルターで画像の特徴を検出する
　　　サイズ減した画像をゼロパディングで元のサイズに戻す
　　　プーリングで歪みやズレによる影響を回避する
　　2.3.2 SSDモデルの構造
　　　SSDモデルの出力
　　　SSDモデルの全体像
　　2.3.3 vggネットワークの実装
　　　vggネットワークの構造
　　　vggネットワークを生成するmake_vgg（）関数の定義
　　　vggネットワークを生成して構造を確認してみよう
　　2.3.4 extrasネットワークの実装
　　　extrasネットワークの構造
　　　extrasネットワークを生成するmake_extras（）関数の定義
　　　make_extras（）関数の動作確認
　　2.3.5 locネットワークの実装
　　　locネットワークの構造
　　　locネットワークを生成するmake_loc（）関数の定義
　　　make_loc（）関数の動作確認
　　2.3.6 confネットワークの実装
　　　confネットワークの構造
　　　confネットワークを生成するmake_conf（）関数の定義
　　　make_conf（）関数の動作確認
　　2.3.7 L2Norm層の実装
　　　L2Normの処理
　　　L2Normクラスの定義
　　2.3.8 デフォルトボックスを生成するDBoxクラス
　　　特徴量マップのセルごとにデフォルトボックスを用意する仕組み
　　　DBoxクラスの定義
　　　DBoxクラスの動作確認
　2.4 順伝播処理の実装
　　2.4.1 decord（）関数の定義
　　　decord（）関数を定義する
　　2.4.2 1つの物体に対するバウンディングボックスを1つに絞り込む
　　　Non-Maximum Suppressionの処理を追ってみる
　　　nonmaximum_suppress（）関数の定義
　　2.4.3 推論時にバウンディングボックスの情報を出力する
　　　Detectクラスの処理の概要
　　　COLUMN One-hotエンコーディングとソフトマックス関数
　　　Detectクラスを定義する
　2.5 SSDモデルの実装
　　2.5.1 SSDモデルにおける順伝播処理について徹底解説
　　　__init（）__における初期化処理
　　　forward（）による順伝播処理の詳細
　　　SSDクラスの定義
　2.6 バウンディングボックスの処理
　　2.6.1 DBoxの情報をBBox形式の情報に変換するpoint_form（）関数
　　　point_form（）関数の定義
　　2.6.2 2個のボックスが重なる部分の面積を求めるintersect（）関数
　　　intersect（）関数の定義
　　2.6.3 ボックス間のジャッカード係数（IoU）を計算するjaccard（）関数
　　　jaccard（）関数の定義
　　2.6.4 match（）関数の定義
　　　match（）関数の処理
　　　match（）関数の定義
　2.7 デフォルトボックスのオフセット情報を作るencode（）関数
　　　encode（）関数の定義
　2.8 SSDの損失関数としてMultiBoxLossクラスを作成する
　　2.8.1 MultiBoxLossクラスのforward（）メソッドの処理
　　　教師データとして「DBoxのオフセット値」と「物体の正解ラベル」を取得
　　　物体を検出したPositive DBoxのオフセット情報の損失「loss_l」を計算
　　　COLUMN SmoothL1Loss関数について
　　　confネットワークが出力する21クラスの予測値（確信度）の損失を求める
　　　COLUMN クロスエントロピー誤差
　　　Hard Negative Miningのための抽出用マスクを作成
　　　オフセット情報の平均損失と確信度の損失平均を求める
　　　MultiBoxLossクラスの定義
　2.9 SSDモデルの学習プログラム
　　2.9.1 「Googleドライブ」にデータ一式をアップロードする
　　　Googleドライブの「ObjectDetection」フォルダーへのアップロード
　　2.9.2 Colabノートブックで学習プログラムを実行する
　　　ドライブのマウント
　　　GPUの設定
　　　「ObjectDetection」フォルダー内のモジュールをインポート可能にする
　　　データローダーの作成
　　　SSDモデルの生成
　　　損失関数とオプティマイザーの作成
　　　学習と同時に検証を行う関数を実行する
　　　COLUMN 誤差逆伝播における重みの更新式
　2.10 学習済みモデルでの推論の実施
　　2.10.1 ノートブックを作成して物体検出を実施
　　　検証モードのSSDモデルを生成して学習済み重みをセット
　　　SSDモデルに画像を入力する
　　2.10.2 検出結果を写真上に描画する
　　　検出から描画までを行うSSDPredictionsクラス
　　　物体検出を行って検出結果を描画する
　　　学習済みの重み「ssd300_mAP_77.43_v2.pth」に取り替えてみる


3章 「FasterRCNN＋InceptionResNetV2」による物体検出
　3.1 TensorFlow Hubの物体検出モデル「FasterRCNN＋InceptionResNetV2」
　　3.1.1 「FasterRCNN＋InceptionResNetV2」の概要
　3.2 「FasterRCNN＋InceptionResNetV2」で物体検出を体験してみる
　　3.2.1 Colabノートブックを作成
　　3.2.2 物体検出の実施
　　　風景写真を物体検出にかける
　　　昆虫の写真、スマートフォンの写真、鳥の絵画で試してみる


4章 オートエンコーダー
　4.1 オートエンコーダー（PyTorch）
　　4.1.1 オートエンコーダーのメカニズム
　　　3層構造のオートエンコーダー
　　4.1.2 PyTorchによるオートエンコーダーの実装
　　　オートエンコーダーを実装して手書き数字を学習する
　　　復元された画像を表示してみる
　4.2 畳み込みオートエンコーダー（TensorFlow）
　　4.2.1 畳み込みオートエンコーダーのメカニズム
　　　エンコーダー
　　　デコーダー
　　4.2.2 TensorFlowによる畳み込みオートエンコーダーの実装
　　　畳み込みオートエンコーダーを実装してファッションアイテムの画像を学習する
　　　学習結果を出力してみる
　4.3 畳み込みオートエンコーダーによるノイズ除去（TensorFlow）
　　4.3.1 ノイズ除去畳み込みオートエンコーダーのメカニズム
　　4.3.2 TensorFlowによるノイズ除去畳み込みオートエンコーダーの実装
　　　ノイズ除去畳み込みオートエンコーダーを実装して学習する
　　　ノイズを加えた画像と復元した画像を出力する
　4.4 変分オートエンコーダー（PyTorch）
　　4.4.1 変分オートエンコーダーのメカニズム
　　　変分オートエンコーダーの損失関数
　　4.4.2 PyTorchによる畳み込みオートエンコーダーの実装
　　　変分オートエンコーダーを実装する
　　　変分オートエンコーダーに入力した結果を出力する
　　　デコーダーに任意のデータを入力して画像を生成する
　4.5 変分オートエンコーダー（TensorFlow）
　　4.5.1 変分オートエンコーダーのメカニズム
　　　潜在ロスの計算
　　4.5.2 TensorFlowによる変分オートエンコーダーの実装
　　　変分オートエンコーダーを実装する
　　　入力したイメージと復元したイメージを出力してみる


5章 GAN（敵対的生成ネットワーク）
　5.1 DCGANによる画像生成（PyTorch）
　　5.1.1 GANのメカニズム
　　　GANの学習の仕組み
　　5.1.2 DCGANのメカニズム
　　5.1.3 PyTorchによるDCGANの実装
　　　DCGANを実装する
　5.2 DCGANによる画像生成（TensorFlow）
　　5.2.1 TensorFlowによるDCGANの実装
　　　DCGANを実装してFashion-MNISTデータセットで学習する
　　　学習済みの生成器で画像を生成
　5.3 Conditional GANによる画像生成（PyTorch）
　　5.3.1 Conditional GANのメカニズム
　　　生成器への正解ラベルの入力
　　　識別器への数値ラベルの入力
　　5.3.2 PyTorchによるConditional GANの実装
　　　Conditional GANを実装する
　5.4 Conditional GANによる画像生成（TensorFlow）
　　5.4.1 TensorFlowによるConditional GANの実装
　　　Colabノートブックでプログラムを実行
　　　学習済みの生成器にノイズを入力して画像を生成してみる

Appendix ディープラーニングの数学的要素
　A.1 ニューラルネットワークのデータ表現：テンソル
　　A.1.1 NumPyのスカラー（0階テンソル）
　　A.1.2 NumPyのベクトル（1階テンソル）
　　A.1.3 NumPyの行列（2階テンソル）
　　A.1.4 3階テンソルとより高階数のテンソル
　A.2 ニューラルネットワークを回す（ベクトルの演算）
　　A.2.1 ベクトルの算術演算
　　A.2.2 ベクトルのスカラー演算
　　A.2.3 ベクトル同士の四則演算
　　　ベクトル同士の加算と減算
　　A.2.4 ベクトルのアダマール積を求める
　　A.2.5 ベクトルの内積を求める
　A.3 ニューラルネットワークを回す（行列の演算）
　　A.3.1 行列の構造
　　A.3.2 多次元配列で行列を表現する
　　A.3.3 行列のスカラー演算
　　A.3.4 行列の定数倍
　　A.3.5 行列の成分にアクセスする
　　A.3.6 行列の成分同士の加算・減算をする
　　A.3.7 行列のアダマール積
　　A.3.8 行列の内積を求める
　　　行列同士の内積を求めてみる
　　A.3.9 行と列を入れ替えて「転置行列」を作る
　A.4 微分
　　A.4.1 極限（lim）
　　A.4.2 微分の基礎
　　A.4.3 微分をPythonで実装してみる
　　　数値微分で関数を微分してみる
　　　プログラムの実行結果
　　A.4.4 微分の公式
　　A.4.5 変数が2つ以上の場合の微分（偏微分）
　　A.4.6 合成関数の微分
　　　合成関数のチェーンルールの拡張
　　　積の微分法