tensorflow函数/重要功能实现

一、基础函数

1.1 、tf.reduce_sum(input_tensor, axis)   Computes the sum of elements across dimensions of a tensor，沿着维度sxis计算和

x= [[, , ], [, , ]]，其秩为2

//求和，在所有维度操作，也就相当于对所有元素求和
tf.reduce_sum(x) ==> 

//在维度0上操作，在这个例子中实际就是按列(维度0)求和
tf.reduce_sum(x, ) ==> [, , ]
//也等价在维度-2操作
tf.reduce_sum(x, -) ==> [, , ]

//在维度1上操作，在这个例子中实际就是按行(维度1)求和
tf.reduce_sum(x, ) ==> [, ]
//也等价在维度-1操作
tf.reduce_sum(x, ) ==> [, ]

1.2、tf.concat(values, axis)：Concatenates tensors along one dimension, 在维度axis连接矩阵

t1 = [[, , ], [, , ]]  //2*3维
t2 = [[, , ], [, , ]]  //2*3维
tf.concat([t1, t2], ) == > [[, , ], [, , ], [, , ], [, , ]]
//在维度0上连接，那么第一个维度会增加，在这里就是行会增多，结果是4*3维矩阵.

x=tf.ones((,,)) //shape (3,2,2)
C=[x,x,x]
print(tf.concat(C,).shape) == > (,,)
// 再看这个例子，三维矩阵的连接，在第3个维度上，也就是维度2, 结果第三个维度会增加，也就是(3,2,6)

1.3、维度增加与删减

tf.expand_dims(input, axis=None, name=None, dim=None) ：Inserts a dimension of 1 into a tensor’s shape，在第axis位置增加一个维度

tf.squeeze(input, squeeze_dims=None, name=None) Removes dimensions of size 1 from the shape of a tensor。从tensor中删除所有大小是1的维度， 如果不想删除所有尺寸1尺寸，可以通过指定squeeze_dims来删除特定尺寸1尺寸。

1.4、从tensor提取切片

tf.slice(input_, begin, size, name = None)，作用是从输入数据input中提取出一块切片，切片的尺寸是size，切片的开始位置是begin。切片的尺寸size表示输出tensor的数据维度，其中size[i]表示在第i维度上面的元素个数。开始位置begin表示切片相对于输入数据input_的每一个偏移量，比如数据input是

参考 https://blog.csdn.net/qq_30868235/article/details/80849422

1.5、值压缩函数

tf.clip_by_value(A, min, max)：输入一个张量A，把A中的每一个元素的值都压缩在min和max之间。小于min的让它等于min，大于max的元素的值等于max。

https://blog.csdn.net/UESTC_C2_403/article/details/72190248

1.6、张量扩展复制

tf.tile(input, multiples, name=None)：

　　input：待扩展的张量，A Tensor. 1-D or higher.

　　multiples：扩展参数，A Tensor. Must be one of the following types: int32, int64. 1-D. Length must be the same as the number of dimensions in input。

例如input是一个3维的张量。那么mutiples就必须是一个1x3的1维张量。这个张量的三个值依次表示input的第1，第2，第3维数据扩展几倍。

参考： https://blog.csdn.net/tsyccnh/article/details/82459859

1.7、tf.where

tf.where(condition, x=None, y=None, name=None): Return the elements, either from x or y, depending on the condition.

condition、x、y维度相同，其中condition必须是bool型。当condition某个位置为true时返回x相应位置的元素，false时返回y位置的元素。

参考：https://blog.csdn.net/ustbbsy/article/details/79564828

1.8、tf.range

用于创建数字序列变量，有以下两种形式：

tf.range(limit, delta=1, dtype=None, name='range')
tf.range(start, limit, delta=1, dtype=None, name='range')

该数字序列开始于 start 并且将以 delta 为增量扩展到不包括 limit 时的最大值结束，类似python的range函数。

参考：https://www.cnblogs.com/cvtoEyes/p/9002843.html

1.9、Tensorflow 中 crf_decode 和 viterbi_decode 的使用

https://blog.csdn.net/baobao3456810/article/details/83388516

viterbi_decode 和 crf_decode 实现了相同功能，前者是numpy的实现，后者是 tensor 的实现。

二、网络层实现

2.1.  一维卷积、二维卷积

2.1.1、 一维卷积(tf.nn.conv1d)和二维卷积(tf.nn.conv1d)的比较

二维卷积是将一个特征图在width和height两个方向上进行滑窗操作，对应位置进行相乘并求和；而一维卷积则是只在width或者说height方向上进行滑窗并相乘求和。

2.2.2、  tf.nn.conv2d、tf.layers.conv2d

https://blog.csdn.net/Mundane_World/article/details/80894618

Tensorflow中很多具有相同功能的函数，有不同的API。例如，2-D卷积，目前conv2d方法就有4个：

tf.nn.conv2d, tf.layers.conv2d, tf.contrib.layers.conv2d, slim.conv2d

它们在底层都调用了gen_nn_ops.conv2d()，实际上除了参数不一样外，其它没有大的区别，都实现了同样的功能。slim.conv2d已废弃。

参考：https://blog.csdn.net/mao_xiao_feng/article/details/53444333

一维卷积示例：https://blog.csdn.net/u011734144/article/details/84066928

2.2、全连接层

//out_dim=64维,激活函数为relu

self.output_tensor = tf.layers.Dense(, activation=tf.nn.relu)(self.input_tensor)

一般都会在全连接层加Dropout 层防止过拟合，提升泛化能力。而很少见到卷积层后接Drop out （原因主要是 卷积参数少，不易过拟合），今天找了些博客，特此记录

2.3、Drop层

output_tensor = tf.layers.dropout(inputs=input_tensor,rate=dropout_rate,training=is_training) #方法1(推荐),注意rate是指训练过程中丢掉神经元的比例

output_tensor= tf.nn.dropout(input_tensor, keep_prob) #方法2, keep_prob为训练过程中神经元保留的比例

Dropout原理：在不同的训练过程中随机扔掉一部分神经元，也就是让某个神经元的激活值以一定的概率p，让其停止工作，这次训练过程中不更新权值，也不参加神经网络的计算。但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了。Dropout 层一般加在全连接层 防止过拟合，提升模型泛化能力。而很少见到卷积层后接Drop out （原因主要是 卷积参数少，不易过拟合）.

https://blog.csdn.net/qq_27292549/article/details/81092653

三、重要功能实现

3.1、tensor 标准化

3.1.1、tf.nn.l2_normalize(x, dim, epsilon=1e-12, name=None) ，对tensor利用L2范数(即欧氏距离)对指定维度 dim进行标准化。

https://blog.csdn.net/abiggg/article/details/79368982

3.2、对网络层正则化

在损失函数上加上正则项是防止过拟合的一个重要方法。tensorflow中对参数使用正则项分为两步:

a) 创建一个正则方法(函数/对象)
b) 将这个正则方法(函数/对象)，应用到参数上

L2正则函数 tf.contrib.layers.l2_regularizer(scale, scope=None)，scale: 正则项的系数，scope: 可选的scope name。L1正则类似。

使用过程示例：

//第一种方式
//1. 定义正则函数
l2_regularizer = tf.contrib.layers.l2_regularizer(scale=0.1)

//2. 在网络层(全连接层)应用L2正则
self.fc1 = tf.layers.Dense(units=
                   ,activation=tf.nn.relu
                  ,kernel_initializer=tf.contrib.layers.xavier_initializer()
                   ,bias_initializer=tf.zeros_initializer()
                    ,kernel_regularizer=l2_regularizer)(self.input)

//3. 在loss函数加入L2正则损失
self.l2_loss =  tf.losses.get_regularization_loss() // 使用get_regularization_loss函数获取定义的全部L2 loss
self.ori_loss = ... //正常的损失函数
self.loss = self.ori_loss + self.l2_reg_lambda * self.l2_loss //在最终的 loss中加入L2 loss

//第二种方式
//1. 定义L2 loss变量
l2_loss = tf.constant(0.0)
//2. 在网络层(全连接层)应用L2正则
with tf.name_scope("fc1"):
    W = tf.get_variable(
        "W_hidden",
        shape=[size1, size2],
        initializer=tf.contrib.layers.xavier_initializer())
    b = tf.Variable(tf.constant(0.1, shape=[self.hidden_dim]), name="b")
    l2_loss += tf.nn.l2_loss(W)
    l2_loss += tf.nn.l2_loss(b)
    self.fc1_output = tf.nn.relu(tf.nn.xw_plus_b(self.input, W, b, name="fc1_output "))

//3. 在loss函数加入L2正则损失
self.ori_loss = ... //正常的损失函数
self.loss = self.ori_loss + self.l2_reg_lambda * self.l2_loss //在最终的 loss中加入L2 loss

参考 https://*.com/questions/44232566/add-l2-regularization-when-using-high-level-tf-layers

https://zhuanlan.zhihu.com/p/27994404

3.3、Batch Normalization 批规范化

构建方式

//示例，对全连接层使用batch normalization
with tf.variable_scope('fc1', reuse=tf.AUTO_REUSE):
    liner = tf.layers.Dense(, activation=None)(self.input)
    norm_liner = tf.layers.batch_normalization(liner, training=is_training)
    self.fc1 = tf.nn.relu(norm_liner)

参考：http://ai.51cto.com/art/201705/540230.htm

https://www.cnblogs.com/guoyaohua/p/8724433.html

3.4、残差

https://zhuanlan.zhihu.com/p/42706477 待