X=tf.constant([-1,-2],dtype=tf.float32) w=tf.Variable([2.,3.]) truth=[3.,3.] Y=w*X # cost=tf.reduce_sum(tf.reduce_sum(Y*truth)/(tf.sqrt(tf.reduce_sum(tf.square(Y)))*tf.sqrt(tf.reduce_sum(tf.square(truth))))) cost=Y[1]*Y optimizer = tf.train.GradientDescentOptimizer(1).minimize(cost) with tf.Session() as sess: sess.run(tf.global_variables_initializer()) print(sess.run(Y)) print(sess.run(w)) print(sess.run(cost)) print(sess.run(Y)) sess.run(optimizer) print(sess.run(w))
结果如下
W由[2,3]变成[-4,-25]
f=y0*y=w0*x0*w*x=[w1*x1*w0*x0,w1*x1*w1*x1,]
f对w0求导,得w1*x0*x1+0=6 ,所以新的w0=w0-6=-4
f对w1求导,得 w0*x0*x1+2*w1*x1*x1=28,所以新的w1=w1-28=-25
补充:【TensorFlow篇】--反向传播
反向自动求导是 TensorFlow 实现的方案,首先,它执行图的前向阶段,从输入到输出,去计算节点
值,然后是反向阶段,从输出到输入去计算所有的偏导。
图是第二个阶段,在第一个阶段中,从 x =3和 y =4开始去计算所有的节点值
f ( x / y )=x 2 * y + y + 2
求解的想法是逐渐的从图上往下,计算 f ( x , y )的偏导,使用每一个连续的节点,直到我们到达变量节
点,严重依赖链式求导法则!
因为n7是输出节点,所以f=n7,所以????f/????????7= 1
让我们继续往下走到n5节点,????f/????????5=????f/????????7∗????????7/????????5 . 我们已知????f/????????7=1,所以我们需要知道????????7/????????5 ,因为n7=n5+n6,所以我们求得????????7/????????5=1,所以????f/????????5=1*1=1
现在我们继续走到节点n4,????f/????????4=????f/????????5∗????????5/????????4,因为n5=n4*n2,我们求得�????5/????????4=n2,????f/????????4=1*4
沿着图一路向下,我们可以计算出所有节点,就能计算出 ????????/????x= 24,????????/????y= 10
那我们就可以利用和上面类似的方式方法去计算????????/????????
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:mmqy2019@163.com进行举报,并提供相关证据,查实之后,将立刻删除涉嫌侵权内容。
长按识别二维码并关注微信
更方便到期提醒、手机管理