tensorflow函数/重要功能实现

时间:2023-11-30 11:22:38

一、基础函数

1.1 、tf.reduce_sum(input_tensor, axis)   Computes the sum of elements across dimensions of a tensor,沿着维度sxis计算和

x= [[, , ], [, , ]],其秩为2

//求和,在所有维度操作,也就相当于对所有元素求和
tf.reduce_sum(x) ==> //在维度0上操作,在这个例子中实际就是按列(维度0)求和
tf.reduce_sum(x, ) ==> [, , ]
//也等价在维度-2操作
tf.reduce_sum(x, -) ==> [, , ] //在维度1上操作,在这个例子中实际就是按行(维度1)求和
tf.reduce_sum(x, ) ==> [, ]
//也等价在维度-1操作
tf.reduce_sum(x, ) ==> [, ]

1.2、tf.concat(values, axis):Concatenates tensors along one dimension, 在维度axis连接矩阵

t1 = [[, , ], [, , ]]  //2*3维
t2 = [[, , ], [, , ]] //2*3维
tf.concat([t1, t2], ) == > [[, , ], [, , ], [, , ], [, , ]]
//在维度0上连接,那么第一个维度会增加,在这里就是行会增多,结果是4*3维矩阵. x=tf.ones((,,)) //shape (3,2,2)
C=[x,x,x]
print(tf.concat(C,).shape) == > (,,)
// 再看这个例子,三维矩阵的连接,在第3个维度上,也就是维度2, 结果第三个维度会增加,也就是(3,2,6)

1.3、维度增加与删减

tf.expand_dims(input, axis=None, name=None, dim=None) :Inserts a dimension of 1 into a tensor’s shape,在第axis位置增加一个维度

tf.squeeze(input, squeeze_dims=None, name=None) Removes dimensions of size 1 from the shape of a tensor。从tensor中删除所有大小是1的维度, 如果不想删除所有尺寸1尺寸,可以通过指定squeeze_dims来删除特定尺寸1尺寸。

1.4、从tensor提取切片

tf.slice(input_, begin, size, name = None),作用是从输入数据input中提取出一块切片,切片的尺寸是size,切片的开始位置是begin。切片的尺寸size表示输出tensor的数据维度,其中size[i]表示在第i维度上面的元素个数。开始位置begin表示切片相对于输入数据input_的每一个偏移量,比如数据input是

参考 https://blog.****.net/qq_30868235/article/details/80849422

1.5、值压缩函数

tf.clip_by_value(A, min, max):输入一个张量A,把A中的每一个元素的值都压缩在min和max之间。小于min的让它等于min,大于max的元素的值等于max。

https://blog.****.net/UESTC_C2_403/article/details/72190248

1.6、张量扩展复制

tf.tile(input, multiples, name=None):

  input:待扩展的张量,A Tensor. 1-D or higher.

  multiples:扩展参数,A Tensor. Must be one of the following types: int32, int64. 1-D. Length must be the same as the number of dimensions in input。

例如input是一个3维的张量。那么mutiples就必须是一个1x3的1维张量。这个张量的三个值依次表示input的第1,第2,第3维数据扩展几倍。

参考: https://blog.****.net/tsyccnh/article/details/82459859

1.7、tf.where

tf.where(condition, x=None, y=None, name=None): Return the elements, either from x or y, depending on the condition.

condition、x、y维度相同,其中condition必须是bool型。当condition某个位置为true时返回x相应位置的元素,false时返回y位置的元素。

参考:https://blog.****.net/ustbbsy/article/details/79564828

1.8、tf.range

用于创建数字序列变量,有以下两种形式:

tf.range(limit, delta=1, dtype=None, name='range')
tf.range(start, limit, delta=1, dtype=None, name='range')

该数字序列开始于 start 并且将以 delta 为增量扩展到不包括 limit 时的最大值结束,类似python的range函数。

参考:https://www.cnblogs.com/cvtoEyes/p/9002843.html

1.9、Tensorflow 中 crf_decode 和 viterbi_decode 的使用

https://blog.****.net/baobao3456810/article/details/83388516

viterbi_decode 和 crf_decode 实现了相同功能,前者是numpy的实现,后者是 tensor 的实现。

二、网络层实现

2.1.  一维卷积、二维卷积

2.1.1、 一维卷积(tf.nn.conv1d)和二维卷积(tf.nn.conv1d)的比较

二维卷积是将一个特征图在width和height两个方向上进行滑窗操作,对应位置进行相乘并求和;而一维卷积则是只在width或者说height方向上进行滑窗并相乘求和。

2.2.2、  tf.nn.conv2d、tf.layers.conv2d

https://blog.****.net/Mundane_World/article/details/80894618

Tensorflow中很多具有相同功能的函数,有不同的API。例如,2-D卷积,目前conv2d方法就有4个:

tf.nn.conv2d, tf.layers.conv2d, tf.contrib.layers.conv2d, slim.conv2d

它们在底层都调用了gen_nn_ops.conv2d(),实际上除了参数不一样外,其它没有大的区别,都实现了同样的功能。slim.conv2d已废弃。

参考:https://blog.****.net/mao_xiao_feng/article/details/53444333

一维卷积示例:https://blog.****.net/u011734144/article/details/84066928

2.2、全连接层

//out_dim=64维,激活函数为relu
self.output_tensor = tf.layers.Dense(, activation=tf.nn.relu)(self.input_tensor)

一般都会在全连接层加Dropout 层防止过拟合,提升泛化能力。而很少见到卷积层后接Drop out (原因主要是 卷积参数少,不易过拟合),今天找了些博客,特此记录

2.3、Drop层

output_tensor = tf.layers.dropout(inputs=input_tensor,rate=dropout_rate,training=is_training) #方法1(推荐),注意rate是指训练过程中丢掉神经元的比例
output_tensor= tf.nn.dropout(input_tensor, keep_prob) #方法2, keep_prob为训练过程中神经元保留的比例

Dropout原理:在不同的训练过程中随机扔掉一部分神经元,也就是让某个神经元的激活值以一定的概率p,让其停止工作,这次训练过程中不更新权值,也不参加神经网络的计算。但是它的权重得保留下来(只是暂时不更新而已),因为下次样本输入时它可能又得工作了。Dropout 层一般加在全连接层 防止过拟合,提升模型泛化能力。而很少见到卷积层后接Drop out (原因主要是 卷积参数少,不易过拟合).

https://blog.****.net/qq_27292549/article/details/81092653

三、重要功能实现

3.1、tensor 标准化

3.1.1、tf.nn.l2_normalize(x, dim, epsilon=1e-12, name=None) ,对tensor利用L2范数(即欧氏距离)对指定维度 dim进行标准化。

https://blog.****.net/abiggg/article/details/79368982

3.2、对网络层正则化

在损失函数上加上正则项是防止过拟合的一个重要方法。tensorflow中对参数使用正则项分为两步:

a) 创建一个正则方法(函数/对象)
b) 将这个正则方法(函数/对象),应用到参数上

L2正则函数 tf.contrib.layers.l2_regularizer(scale, scope=None),scale: 正则项的系数,scope: 可选的scope name。L1正则类似。

使用过程示例:

//第一种方式
//1. 定义正则函数
l2_regularizer = tf.contrib.layers.l2_regularizer(scale=0.1) //2. 在网络层(全连接层)应用L2正则
self.fc1 = tf.layers.Dense(units=
,activation=tf.nn.relu
,kernel_initializer=tf.contrib.layers.xavier_initializer()
,bias_initializer=tf.zeros_initializer()
,kernel_regularizer=l2_regularizer)(self.input) //3. 在loss函数加入L2正则损失
self.l2_loss = tf.losses.get_regularization_loss() // 使用get_regularization_loss函数获取定义的全部L2 loss
self.ori_loss = ... //正常的损失函数
self.loss = self.ori_loss + self.l2_reg_lambda * self.l2_loss //在最终的 loss中加入L2 loss //第二种方式
//1. 定义L2 loss变量
l2_loss = tf.constant(0.0)
//2. 在网络层(全连接层)应用L2正则
with tf.name_scope("fc1"):
W = tf.get_variable(
"W_hidden",
shape=[size1, size2],
initializer=tf.contrib.layers.xavier_initializer())
b = tf.Variable(tf.constant(0.1, shape=[self.hidden_dim]), name="b")
l2_loss += tf.nn.l2_loss(W)
l2_loss += tf.nn.l2_loss(b)
self.fc1_output = tf.nn.relu(tf.nn.xw_plus_b(self.input, W, b, name="fc1_output ")) //3. 在loss函数加入L2正则损失
self.ori_loss = ... //正常的损失函数
self.loss = self.ori_loss + self.l2_reg_lambda * self.l2_loss //在最终的 loss中加入L2 loss

参考 https://stackoverflow.com/questions/44232566/add-l2-regularization-when-using-high-level-tf-layers

https://zhuanlan.zhihu.com/p/27994404

3.3、Batch Normalization 批规范化

构建方式

//示例,对全连接层使用batch normalization
with tf.variable_scope('fc1', reuse=tf.AUTO_REUSE):
liner = tf.layers.Dense(, activation=None)(self.input)
norm_liner = tf.layers.batch_normalization(liner, training=is_training)
self.fc1 = tf.nn.relu(norm_liner)

参考:http://ai.51cto.com/art/201705/540230.htm

https://www.cnblogs.com/guoyaohua/p/8724433.html

3.4、残差

https://zhuanlan.zhihu.com/p/42706477 待