{承接CNN学习入门，笔者在这里对Caffe官方网站上的相关介绍进行了翻译总结，欢迎大家交流指正}
本文基于此刻最新的release，Caffe-rc3：
5. Common Layer:
Inner Product:
1.网络类型：InnerProduct
2.CPU版本实现：./src/caffe/layers/inner_product_layer.cpp
3.GPU版本实现：./src/caffe/layers/inner_product_layer.cu
4.参数（InnerProductParameter inner_product_param）：
4.1 Required:
4.1.1 num_output(c_o):filters的数目或者说是卷积kernel的数目
4.2 Strongly Recommended
4.2.1 weight_filler[default type:'constant' value 0]
4.3 Optional
4.3.1 bias_filler[default type: 'constant' value: 0]
4.3.2 bias_term[default true]：是否添加bias项在filter输出之后 Wx + bias
5.输入：n * c_i * h_i * w_i
6.输出：n * c_o * 1 * 1
7.示例：
layer {
name: "fc8"
type: "InnerProduct"
# learning rate and decay multipliers for the weights
param { lr_mult: 1 decay_mult: 1 }
# learning rate and decay multipliers for the biases
param { lr_mult: 2 decay_mult: 0 }
inner_product_param {
num_output: 1000
weight_filler {
type: "gaussian"
std: 0.01
}
bias_filler {
type: "constant"
value: 0
}
}
bottom: "fc7"
top: "fc8"
}
InnerProductLayer也被称为全连接层，将input视为一个向量，产生一个向量形式的输出，blob的height与width都被设定为1。
Splitting:
Split layer将input的blob切分到多个输出blob上，这在一个blob需要输出到多个output layer时是很有用的。
Flattening:
Flatten layer将input的shape为n * c * h * w 平整到output的shape为 n *(c*h*w)。
Reshape:
1.网络类型：Reshape
2.实现：./src/caffe/layers/reshape_layer.cpp
3.参数（ReshapeParameter reshape_param）：
3.1 Optional
3.1.1 shape
4.输入：一个任意维度的blob。
5.输出：相同的blob，但是维度变为reshape_param所定义的。
6.示例：
layer {
name: "reshape"
type: "Reshape"
bottom: "input"
top: "output"
reshape_param {
shape {
dim: 0 # copy the dimension from below
dim: 2
dim: 3
dim: -1 # infer it from the other dimensions
}
}
}
Reshape Layer可以被用来改变input的维度，而不改变其中的数据。
就像Flatten layer的操作一样，只要有维度被改变，数据在操作中没有被拷贝。
Output的维度在ReshapeParam proto中被指定，正整数将直接指定OUTPUT的对应维度。
此外，两个特殊值也可以被指定为目标维度值。
0:意味着“拷贝来自bottom layer的对应维度值”。也就说，如果bottom在其第一维，维度值是2，那么top的第一维的维度也是2。
-1：意味着“从其他维度推测该维的维度”。类似于numpy中的-1，或者matlab中的[]在reshape操作中的意思。该维的维度值将会通过元素总数保持不变的特性而被计算出来。但是-1最多只能被使用一次，否则维度将无法确定。
在另一个例子中，reshape_param{ shape { dim: 0 dim: -1} }与Flatten Layer执行完全相同的操作。
Concatenation:
1.网络类型：Concat
2.CPU版本实现：./src/caffe/layers/concat_layer.cpp
3.GPU版本实现：./src/caffe/layers/concat_layer.cu
4.参数（ConcatParameter concat_param）：
4.1 Optional
4.1.1 axis[default 1]: 0 为在num上扩增 1 为在channel上扩增
5.输入：n_i * c_i * h * w 每一个blob for i = 1:K
6.输出：
if axis = 0:
(n_1 + n_2 + ... + n_K) * c_1 * h * w 所有的input的c_i应该是一致的。
if axis = 1:
n_1 * (c_1 + c_2 + ... + c_K) * h * w 所有的input的n_i应该是一致的。
7.示例：
layer {
name: "concat"
bottom: "in1"
bottom: "in2"
top: "out"
type: "Concat"
concat_param {
axis: 1
}
}
Concat Layer意在将多个input blob串接为一个output blob。
Slicing:
Slice Layer将一个input Layer按照给定的维度在给定的index处进行切分。
E.g.
layer {
name: "slicer_label"
type: "Slice"
bottom: "label"
## Example of label with a shape N x 3 x 1 x 1
top: "label1"
top: "label2"
top: "label3"
slice_param {
axis: 1
slice_point: 1
slice_point: 2
}
}
axis：指定了目标维。slice_point：指明了在被选中维度中的index(index的数目必须与top blob的数目减去一后一致)。
Elementwise Operations
Eltwise
Argmax
ArgMax
Softmax
Softmax
Mean-Variance Normalization
MVN