RNNとSeq2Seqのおさらい Transformer Attention Positional Encoding Scaled Dot Product Attention Multihead Attention RNNとSeq2Seqのおさらい RNNは系列情報を内部状態ベクトルに変換する。t-1までの単語が来た時に、tにくる単語が何かを確率分布（事後…

物体検知 要点まとめ 代表的なデータセット 評価指標について 物体検知のモデル セマンテックセグメンテーション 要点まとめ 代表的なセグメンテーションのモデル 物体検知 要点まとめ 画像分類(Classification)：写っている画像の正解ラベルを出力する 物体…

MobileNet 要点まとめ Depthwise Convolution Pointwise Convolution DenseNet 正規化の技術（BatchNorm, Layer Norm, Instance Norm） Batch Normalization Layer Normalization Instance Normalization WaveNet MobileNet 要点まとめ 画像認識モデルにおい…

高速化の技術 要点まとめ データ並列化 モデル並列化 GPU 軽量化の技術 要点まとめ 量子化 蒸留 プルーニング 高速化の技術 要点まとめ データ量は毎年10倍ずつ増加し計算量も増えていると言われている中で、PCの性能は18ヶ月で2倍になると言われている。そ…

強化学習 要点まとめ 方策関数 価値関数（状態価値関数 or 行動価値関数） 方策勾配法 （実例1）AlphaGo Lee （実例2）AlphaGo Zero 強化学習 要点まとめ 強化学習は、教師あり学習と教師なし学習とは少し毛色が違う。データのパターンを見つけ出し、予測す…

Simple RNN 要点まとめ 構文木：再帰的に文章全体の表現ベクトルを得るプログラム BPTT（back propagation through time） RNNの課題感 勾配消失 勾配爆発 LSTM 要点まとめ 入力ゲート 忘却ゲート 出力ゲート ピープホールつきLSTM（覗き穴結合） LSTMとCEC…

CNNの概要 要点まとめ （例）LeNetの構造 （例）AlexNetのモデルについて 畳み込みレイヤーの演算（Convolutions） プーリング 層の全体像 【実装】 CNNの概要 要点まとめ 畳み込みニューラルネットワーク。画像処理によく使われる。 汎用性が高く、画像のみ…

勾配消失問題 要点まとめ 勾配消失を回避する3つの方法 【実装】Xavier/ He 初期値の設定方法 【実装】バッチ正規化レイヤー 最適化手法 要点まとめ モメンタム Adagrad RMSProp Adam 過学習 要点まとめ 正則化手法 【実装】L1正則化、L2正則化 ドロップアウ…

さて、今回は深層学習の基礎と概要について要点をまとめたいと思います。 入力層～中間層 活性化関数 要点まとめ STEP関数 シグモイド関数 RELU関数 Softmax関数 出力層 要点まとめ 誤差関数 要点まとめ MSE クロスエントロピー Softmax関数＋クロスエントロ…

線形回帰問題 要点まとめ （補足）最小二乗法 （補足）ホールドアウト法 （補足）クロスバリデーション（交差検証法） 【実装】ボストンの住宅価格を予測する 非線形回帰問題 要点まとめ （補足）よく使われる基底関数 （補足）過学習（overfitting）と未学…