深度學習21天實戰caffe學習筆記《1:深度學習的過往》

1. 深度學習DL：

1.1、有監督學習、無監督學習、過擬合、訓練樣本、泛化、訓練集、驗證集、測試集這些和深度學習有關的知識需要實現明白，這里有一個深度學習的資料你們可以去下載；
http://download.csdn.net/detail/julialove102123/9840329
1.2、相關公司及牛人和技術：

     Google------->Geoffrey Hinton   
 (Googlenet  、DistBelief   、Tensorflow)
     Microsoft----->
 (Deep Residual Learning Framwork、Fast-RCNN)
     Facebook------>Yann LeCun 
(Torch  、Fbcunn)
    Amazon----->云上的機器學習服務
    NVIDIA---->GPU加速器硬件（Titan X、Tesla P100）、加速庫（cuDNN）、解決方案（DIGITS DevBox、DGX-1）
    BAT------>Andrew Ng  (IDL:百度深度學習實驗室）
    ...

1.3、企業熱是風向標：
商湯科技SenseTime：http://www.sensetime.com/
北京曠世科技（Face++）：https://megvii.com/
涂鴉：https://docs.airtake.me/
格靈深瞳：http://www.deepglint.com/
Dress+：http://www.dress-plus.com/index.html
Linkface ：https://www.linkface.cn/

了解：
Geoffrey Hinton (http://www.cs.toronto.edu/~hinton/)
Yann LeCun (http://yann.lecun.com/)
Youshua Bengio(http://www.iro.umontreal.ca/~bengioy/yoshua_en/)
學習：Andrew ng的機器學習課程:https://www.coursera.org/learn/machine-learning/home/welcome
了解：深度學習相關崗位招聘

2. 深度學習過往：

2.1、傳統機器學習的局限性：
需要人為設計特征提取器
這里寫圖片描述
2.2、從表示學習到深度學習：
表示學習：原始數據—>自動發現用于檢測和分類的表示
深度學習：多層表示方法（非線性模塊構建而成），這些模塊將原始數據轉化為更高層更抽象的表示。（不由人工設計，而是使用通用學習方法自動從數學學習得到）；
2.3、深度學習相關基礎：
【這些基礎在Andrew ng里面都有講過就不再一一詳述了】
監督學習、反向傳播算法；
卷積神經網絡（特殊的深度前饋網絡）思想基本原則：
（1）、局部互聯
（2）、共享權值：更少的參數量；
（3）、下采樣：局部不變性；
（4）、使用多個卷積層；
注：卷積層的單元組織為feature map，
2.4、深度學習反思：

模型參數遠大于數據量時，相當于求解一個欠定方程，存在多接的可能性大，容易過擬合；
模型參數遠小于數據量時，相當于求解超定方程，可能無解，或者有解但準確率很低，容易欠擬合；
模型參數與數據量匹配時，相當于秋季恰定方程，剛剛好，但是如何確定參數和數據量師哥過程問題。

復習：求導鏈式法則；
復習：矩陣乘法；

這里寫圖片描述

本文鏈接：https://blog.csdn.net/Julialove102123/article/details/71722495

智能推薦

深度學習筆記——1

一.理清關系深度學習 ——》機器學習——》人工智能二.深度學習基礎 2.1神經網絡 2.1.1特點： 2.1.2基本模型 1.人工神經元模型 M-P模型（最基本模型） 2.感知機————最簡單的神經網絡結構基本結構（類似于M-P模型）多層感知機單層感知機易于處理線性可分問題，對于非線性問題，則...

深度學習筆記（1）

1前言 2深度學習概念 3常用工具 1 Anaconda 2 jupyter notebook 4深度學習基礎 1 計算機基礎 2 Python基礎與科學計算 2 數學基礎 3 統計學基礎 5流程 6應用場景 7參考文獻 1、前言 ? 最近學習深度學習的基礎，這里主要是將一些了解的概念和資料做了一下總結，方便查閱。 2、深度學習概念 ? 最近隨著人工智能這個概念的發展，并且作為國家戰略發展方向，機...

深度學習Caffe實戰筆記（3）用AlexNet跑自己的數據

上一篇博客介紹了如何在caffe框架平臺下，用LeNet網絡訓練車牌識別數據，今天介紹用AlexNet跑自己的數據，同樣基于windows平臺下，會比基于Ubuntu平臺下麻煩一些，特別是后面的Siamese網絡，說起Siamese網絡真是一把辛酸一把淚啊，先讓我哭一會，，，，，哭了5分鐘，算了，Siamese網絡的苦水等以后再倒吧，言歸正傳，開始train。在caffe平臺下，實現用Alexn...

深度學習Caffe實戰筆記（19）Windows平臺 Faster-RCNN 制作自己的數據集

萬里長征第一步，就是要制作自己的數據集，過程還是比較繁瑣的，特別是標注的過程，這篇博客先介紹如果制作voc2007自己的數據集用于faster-rcnn訓練，下一篇博客介紹如何用faster-rcnn訓練自己的數據。 1、準備圖像圖像要用.jpg或者jpeg格式的，如果是png或者其它格式，自己轉換一下就好，圖像名稱要用000001.jpg，只有和VOC2007數據集圖像名稱一致，才能最大限度的...

深度學習Caffe實戰筆記（20）Windows平臺 Faster-RCNN 訓練自己的數據集

昨天晚上博主干到12點多，終于用了一晚上時間搞定了Faster-Rcnn訓練自己的數據集，這篇博客介紹如何用faster_rcnn訓練自己的數據集，前提是已經準備好了自己的數據和配置好了faster-rcnn的環境。制作數據集教程：http://blog.csdn.net/gybheroin/article/details/72581318 環境配置教程：http://blog.csdn.net...