Udacity深度學習（google）筆記（1）——notmnist

Softmax函數是將k維實數向量映射成k維(0,1)之間的實數向量（求指數后再除以指數的總和）。如果將原來的實數向量都乘以10倍，則會使得映射后的向量取值更為“極端”，即此時的學習器特別自信！
One-Hot 編碼
交叉熵：不對稱
Multinomial Logistic Regression：

最小化交叉熵：梯度下降
python 3.6 中range取代了xrange的作用，另外下述代碼結果不是1（為什么？見https://www.zhihu.com/question/25457573）：

x = 1000000000
ox = x
y = 0.000001
z = 1000000
for i in range(0,z):
    x = x + y
x - ox

所以要避免數字之間差太多，要進行標準化
notmnist這個例子包含很多對目錄、文件和圖片的操作：os.listdir()
http://blog.csdn.net/u013698770/article/details/54645326
http://www.cnblogs.com/wdsunny/p/6582698.html

驗證集的大小： Rule of '30' >30000 >0.1%，即當性能提升0.1%時被影響到的驗證樣本達到了30個。沒有這么多樣本的話可以采用交叉驗證的辦法
隨機梯度下降：降低運算量。與零均值同方差輸入的關系，與使用較小方差的隨機權重矩陣的關系
動量法與學習率下降
AdaGrad
shuffle
sanitize （如測試集和訓練集可能有重復樣本），hash

本文鏈接：https://blog.csdn.net/Wayne2019/article/details/77170416

智能推薦

Tensorflow 實戰 Google 深度學習框架 | 學習筆記（二）

Shoot on the moon and if you miss you will still be among the stars. Caicloud Github :tensorflow-tutorialhttps://github.com/caicloud/tensorflow-tutorial 原 tutorial 使用的 Tensorflow 最新版本是 1.4.0 ，本人使用的 1....

TensorFlow實戰Google深度學習框架——學習筆記（二）

第四章、深層神經網絡維基百科定義深度學習：“一類通過多層非線性變換對高復雜性數據建模算法的合集”。深度學習包含著兩個重要的特性：多層與非線性。線性模型最大的局限性是：能夠解決的問題有限。 **函數實現去線性化相當于以往的神經元結構中輸出為所有輸入的加權和，置換為輸出通過一個非線性函數。上圖則是常用的非線性**函數（Sigmoid）下圖則是比較常用的三種...

TensorFlow實戰Google深度學習框架（1）——概念

TensorFlow基本概念 1.TensorFlow計算模型——計算圖 Tensor：張量，可以簡單理解為多維數組 flow：流，張量間通過計算相互轉化過程 TensorFlow是一個通過==計算圖==形式來描述編程的系統。每一個計算都是計算圖上的一個節點，節點之間的邊描述了計算間的依賴關系。計算圖的使用 Tensorflow程序分為兩個階段： 1. 定義計算圖中的所有...

Google 深度學習筆記卷積神經網絡

Convolutional Networks 轉載請注明作者：夢里風林 Github工程地址：https://github.com/ahangchen/GDLnotes 歡迎star，有問題可以到Issue區討論官方教程地址視頻/字幕下載 deep dive into images and convolutional models Convnet...

Udacity機器學習入門筆記——數據集與問題

MORE DATA>FINE-TUNED ALGORITHM 更多的數據集要比經過精密調整的算法可以提供更好的結果,使用更多的數據幾乎總能幫助算法取得更好的效果數據類型：值數據：基本特征就是數值（薪水信息）分類數據（categorical）：類別變量，監督分類較多，包括有限數量的離散值（職位...

Udacity深度學習（google）筆記（1）——notmnist

智能推薦

猜你喜歡