2022-01-05から1日間の記事一覧
MobileNet 要点まとめ Depthwise Convolution Pointwise Convolution DenseNet 正規化の技術（BatchNorm, Layer Norm, Instance Norm） Batch Normalization Layer Normalization Instance Normalization WaveNet MobileNet 要点まとめ 画像認識モデルにおい…
高速化の技術 要点まとめ データ並列化 モデル並列化 GPU 軽量化の技術 要点まとめ 量子化 蒸留 プルーニング 高速化の技術 要点まとめ データ量は毎年10倍ずつ増加し計算量も増えていると言われている中で、PCの性能は18ヶ月で2倍になると言われている。そ…
強化学習 要点まとめ 方策関数 価値関数（状態価値関数 or 行動価値関数） 方策勾配法 （実例1）AlphaGo Lee （実例2）AlphaGo Zero 強化学習 要点まとめ 強化学習は、教師あり学習と教師なし学習とは少し毛色が違う。データのパターンを見つけ出し、予測す…
Simple RNN 要点まとめ 構文木：再帰的に文章全体の表現ベクトルを得るプログラム BPTT（back propagation through time） RNNの課題感 勾配消失 勾配爆発 LSTM 要点まとめ 入力ゲート 忘却ゲート 出力ゲート ピープホールつきLSTM（覗き穴結合） LSTMとCEC…
