一個完整的深度學習系統最核心的兩個方面是數據和模型。
　　深度學習模型通常由三部分參數組成：

1. 可學習參數（Learnable Parameter）,又稱可訓練參數、神經網絡權系數、權重，其數值由模型初始化參數、誤差反向傳播過程控制，一般不可人工干預。
2. 結構參數（Archetecture Parameter），包括卷積層、全連接層、下采樣層數目、卷積核數目、卷積核大小等描述網絡結構參數，一旦設定好，網絡訓練階段不能更改；值得注意的是，訓練階段的參數和預測階段的參數很可能不同。
3. 訓練超參數（Hyper-Parameter）,用來控制網絡訓練的收斂的參數，訓練階段可以自動的或手動調節獲得更好的效果，預測階段不需該參數。

　　可學習參數在內存中使用Blob對象保持，必要時以二進制ProtoBuffer文件（*.caffemodel）形態序列化并存儲于磁盤之上，便于進一步微調（funetune，又稱為精調）、共享、性能評估（benchmark）。
　　結構參數使用ProtoBuffer文本格式（*.prototxt）描述，網絡初始化通過該描述文件構建Net對象、Layer對象形成有向無環圖結構，在Layer和Layer之間、Net輸入源和輸出均為持有數據和中間結果的Blob對象。

　　訓練超參數同樣使用ProtoBuffer文本格式（*.prototxt）描述，訓練階段利用該描述文件構建求解器（Solver）對象，該對象按照一定的規則在訓練網絡時自動調節這些超參數值。

下面我們一一展開介紹。

今天我們將前面介紹的MNIST手寫識別例子中的LeNet-5模型稍加修改，變成如下圖的邏輯回歸（Logistic Regression，LR）分類器。

prototxt表示

復制一份examples/mnist/lenet_train_test.prototxt，重命名為lenet_lr.prototxt，修改內容如下：

name: "LeNet"
layer {
  name: "mnist"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TRAIN
  }
  transform_param {
    scale: 0.00390625
  }
  data_param {
    source: "examples/mnist/mnist_train_lmdb"
    batch_size: 64
    backend: LMDB
  }
}
layer {
  name: "mnist"
  type: "Data"
  top: "data"
  top: "label"
  include {
    phase: TEST
  }
  transform_param {
    scale: 0.00390625
  }
  data_param {
    source: "examples/mnist/mnist_test_lmdb"
    batch_size: 100
    backend: LMDB
  }
}
layer {
  name: "ip"
  type: "InnerProduct"
  bottom: "data"
  top: "ip"
  param {
    lr_mult: 1
  }
  param {
    lr_mult: 2
  }
  inner_product_param {
    num_output: 10
    weight_filler {
      type: "xavier"
    }
    bias_filler {
      type: "constant"
    }
  }
}
layer {
  name: "accuracy"
  type: "Accuracy"
  bottom: "ip"
  bottom: "label"
  top: "accuracy"
  include {
    phase: TEST
  }
}
layer {
  name: "loss"
  type: "SoftmaxWithLoss"
  bottom: "ip"
  bottom: "label"
  top: "loss"
}

復制一份examples/mnist/lenet_solver.prototxt，重命名為lenet_lr_solver.prototxt，修改內容如下：

# The train/test net protocol buffer definition
net: "examples/mnist/lenet_lr.prototxt"
# test_iter specifies how many forward passes the test should carry out.
# In the case of MNIST, we have test batch size 100 and 100 test iterations,
# covering the full 10,000 testing images.
test_iter: 100
# Carry out testing every 500 training iterations.
test_interval: 500
# The base learning rate, momentum and the weight decay of the network.
base_lr: 0.01
momentum: 0.9
weight_decay: 0.0005
# The learning rate policy
lr_policy: "inv"
gamma: 0.0001
power: 0.75
# Display every 100 iterations
display: 100
# The maximum number of iterations
max_iter: 10000
# snapshot intermediate results
snapshot: 5000
snapshot_prefix: "examples/mnist/lenet"
# solver mode: CPU or GPU
solver_mode: CPU

運行訓練，在命令行輸入：

./build/tools/caffe train --solver=example/mnist/lenet_lr_solver.prototxt

經過訓練，可以獲得在測試集上分類準確率為92.28%的模型。相比LeNet-5而言準確率降低了，這也符合直覺，因為將模型簡化后參數變少，，網絡表達能力變差。