機械学習：データのルールやパターンを自動的に学習
ニューラルネットワーク：人間の脳神経を模した学習モデル
単純パーセプトロン
ディープラーニングーーニューラルネットワークを多層化したもの。隠れ層を増やしたニューラルネット。バックプロパゲーションで学習することで単純パーセプトロンの限界を克服。ディープラーニングはニューラルネットワークを応用した手法である。
機械学習の特徴量を人間が決めていた⇒画像認識で限界⇒深層学習で突破した
現在の画像認識はディープラーニングの多層化と新しいテクニックで2015年に人間の認識率を超えている。
人工知能の問題：トイプログレム、フレーム問題、チューリングテスト、強いAI-弱いAI、シンボルグラウンディング問題
機械翻訳：ルールベ－ス翻訳（1970年代後半）⇒統計的機械翻訳（1990年代以降）⇒ニューラル機械翻訳
機械学習では特徴量設計が性能を決定する。正しい特徴量を見つけるのは難しい。
ディープラーニングは、特徴表現自体を機械が見つける。特徴表現学習を機械が行う学習方法の一つ。特徴量とは与えられた問題を解くために必要な処理と考えることもできる。⇒ブラックボックス的安亭
シンギュラリティ
学習：教師有り、教師なし、強化学習。
教師とは出力データのこと。
教師有り学習は、与えられたデータを元に出力(パターン)を識別・予測する。回帰問題と分類問題がある。教師とは出力データ。線形回帰は最もシンプル。ロジスティック回帰が分類問題。シグモイド関数を使う。多種類の分類ではソフトマックス関数も。サポートベクターマシンは人気があった。
教師なし学習は、出力データがない。入力データにある構造を掴む。k-meansはデータをk個のグループに分ける。クラスタ分析という。主成分分析はデータの特徴量間の関係性を掴む。
検証方法：未知のデータへの予測能力を評価する。
評価指標：正解率、適合率、再現率、F値（適合率と再現率の調和平均）
訓練データのみに過度に最適化：オーバーフィッティング
ディープラーニングのアプローチ：オートエンコーダ、積層オートエンコーダ
NVIDIA社がディープラーニング用GPUをリードしている。GoogleのTPU（テンソル処理ユニット）
モデルのパラメータ数の10倍のデータ量が必要。
活性化関数：tanh、ReLu、Leaky ReLu
CNN：畳み込みニューラルネットワーク
RNN：リカレントニューラルネットワーク
強化学習：行動を学習する仕組み。行動の結果としての報酬を最大化するように学習する。状態の表現、状態から行動へ。
●全体像を知るには良いかもしれない。ディープラーニングはブラックボックスなところが胡散臭いが、そもそも人間の知能もブラックボックスといえばブラックボックスである。なので、人間の知能と同じ仕組みを人工的に構築できるというのは大変な革新とも言える。そして、それが人間の認識能力を超えているというのは大きな出来事である。
