请选择 进入手机版 | 继续访问电脑版
查看: 13|回复: 1

TensorFlow 辨异 —— tf.add(a, b) 与 a+b(tf.assign 与 =)、tf.nn.bi...

[复制链接]

591

主题

1098

帖子

5960

积分

xdtech

Rank: 5Rank: 5

积分
5960
发表于 5 天前 | 显示全部楼层 |阅读模式
1. tf.add(a, b) 与 a+b在神经网络前向传播的过程中,经常可见如下两种形式的代码:
tf.add(tf.matmul(x, w), b)
tf.matmul(x, w) + b
简而言之,就是 tf.add(a, b) 与 a + b二者的区别,类似的也有,tf.assign 与 =(赋值运算符)的差异。
在计算精度上,二者并没有差别。运算符重载的形式a+b,会在内部转换为,a.__add__(b),而a.__add__(b)会再一次地映射为tf.add,在 math_ops.py中相关的映射如下:
_OverrideBinaryOperatorHelper(gen_math_ops.add,"add")

2. tf.nn.bias_add 与 tf.addtf.nn.bias_add 是 tf.add 的一个特例,也即 tf.add 支持的操作比 tf.nn.bias_add 更多。二者均支持 broadcasting(广播机制),也即两个操作数最后一个维度保持一致。
除了支持最后一个维度保持一致的两个操作数相加外,tf.add 还支持第二个操作数是一维的情况。






输出结果:
bias_add:
[[ 2. 0.]
[ 3. 1.]
[ 4. 2.]]
add:
[[ 2. 2.]
[ 3. 3.]
[ 4. 4.]]






回复

使用道具 举报

591

主题

1098

帖子

5960

积分

xdtech

Rank: 5Rank: 5

积分
5960
 楼主| 发表于 5 天前 | 显示全部楼层
作者:haoshengup
链接:https://www.jianshu.com/p/a016d3dde1a6
来源:简书
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表