深度学习——反向传播

331 阅读 0 评论 0 点赞

## BP
> BP（Back-Propagation），即反向传播算法，常用于深度学习的优化参数的方法

#### 1.引例
有一个一元一次方程：$$y=wx+b$$，给定一个$$x=1.5$$和$$y_t=0.8$$，求$$w$$和$$b$$取什么值的时候，能让$$wx+b=y_t$$？
#### 2.求解方法
###### 2.1.假定初值
随便给$$w$$和$$b$$设定初值，假定$$w=0.8$$，$$b=0.2$$，带入方程算得$$y=0.8*1.5+0.2=1.4$$
###### 2.2.反向传播更新w,b
1.先定义损失函数$$L=1/2*(y-y_t)^2$$
2.求出$$w$$和$$b$$的梯度
```math
w_{gradient}=\frac{ \partial L }{ \partial w }=\frac{ \partial L }{ \partial y }\frac{ \partial y }{ \partial w }=(y-y_t)x
```
```math
b_{gradient}=\frac{ \partial L }{ \partial b }=\frac{ \partial L }{ \partial y }\frac{ \partial y }{ \partial b }=y-y_t
```
3.定义学习率$$\varepsilon$$
这里令$$\varepsilon=0.1$$
4.更新$$w$$和$$b$$
```math
w=w-w_{gradient}\varepsilon
```
```math
b=b-b_{gradient}\varepsilon
```
5.用更新好的$$w$$和$$b$$继续求$$y$$的值
**重复以上步骤，即可获得比较好的$$w$$，$$b$$**
#### 3.代码
```python
import sympy

x=1.5 # 设置x的初始值
w=0.8 # 设置w的初始值
b=0.2 # 设置b的初始值

def f(x): # 定义y和x的映射关系
    return w*x+b

y=f(x) # 设置y的初始值
y_t=0.8 # 设置y_ture的初始值

def loss(y):
    return 1/2*(y-yt)**2

lr=0.1 # 设置学习率

def BP():
    global w,b
    w_gradient=(y-y_t)*x # 求w的偏导
    b_gradient=y-y_t # 求b的偏导
    
    w=w-lr*w_gradient # 反向更新w
    b=b-lr*b_gradient # 反向更新b
    
epoch=5 # 设置训练次数

for i in range(1,epoch+1): # 开始训练
    y=f(x) # 求此时y的值
    BP() # 反向传播
    print(str(i)+"time:")
    print("w: ",w,"b: ",b)
    print("y: ",y)
    print("y_t: ",y_t)
    print("..........................")
```
结果：
```txt
1time:
w:  0.71 b:  0.14
y:  1.4000000000000001
y_t:  0.8
..........................
2time:
w:  0.64925 b:  0.0995
y:  1.205
y_t:  0.8
..........................
3time:
w:  0.60824375 b:  0.07216250000000002
y:  1.073375
y_t:  0.8
..........................
4time:
w:  0.58056453125 b:  0.05370968750000002
y:  0.984528125
y_t:  0.8
..........................
5time:
w:  0.5618810585937499 b:  0.04125403906250002
y:  0.924556484375
y_t:  0.8
..........................
```

0.0分

2 人评分

本文分类：文章列表
浏览次数：331 次浏览
发布日期：2022-07-31 20:23:36
本文链接：https://blog.dotcpp.com/a/89149

C语言网提供由在职研发工程师或ACM蓝桥杯竞赛优秀选手录制的视频教程，并配有习题和答疑，点击了解：

一点编程也不会写的：零基础C语言学练课程

解决困扰你多年的C语言疑难杂症特性的C语言进阶课程

从零到写出一个爬虫的Python编程课程

只会语法写不出代码？手把手带你写100个编程真题的编程百练课程

信息学奥赛或C++选手的必学C++课程

蓝桥杯ACM、信息学奥赛的必学课程：算法竞赛课入门课程

手把手讲解近五年真题的蓝桥杯辅导课程

深度学习——反向传播

评论列表共有 0 条评论

发表评论取消回复

深度学习——反向传播

1052: [编程入门]链表合并 自己记录

1676: 数据结构-链表的基本操作 自己记录

2025.7.4刷题记录

7月4号刷题记录yyyyyyyyyyyyyyyyyyy

评论列表 共有 0 条评论

发表评论 取消回复

1052: [编程入门]链表合并自己记录

1676: 数据结构-链表的基本操作自己记录

评论列表共有 0 条评论

发表评论取消回复