jimore

用户名：uq_30465888842

访问量：9722

签　名：

Don't let the dream just be a dream!!!

等　　级
排　　名	176
经　　验	6840
参赛次数	29
文章发表	63
年　　龄	0
在职情况	学生
学　　校	四川农业大学
专　　业	计算机科学与技术

　　自我简介：

目标院校：上海交通大学

TA的其他文章

链表找中间元素问题
浏览：75

链表在最大值前面插入一个元素
浏览：151

寻找丢失的数字
浏览：374

你可能喜欢

C语言程序设计教程（第三版）课后习题10.4 （C语言代码）

2004年秋浙江省计算机等级考试二级C 编程题(1) （C语言代码）

YOLO v1（小白教程）

　　作者: jimore　　　　发表时间：2022-07-25 17:35:15 浏览：209　|　评论：0　

## YOLO v1

> YOLO（You Only Look Once）是一种基于深度神经网络的对象识别和定位算法，其最大的特点是运行速度很快，可以用于实时系统。

#### 1.对象识别和定位

输入一张图片，要求输出其中所包含的对象，以及每个对象的位置（包含该对象的矩形框）。

![](https://pic2.zhimg.com/80/v2-d9810b0866b88dbaf619279d7d407a21_1440w.jpg)

对象识别和定位，可以看成两个任务：找到图片中某个存在对象的区域，然后识别出该区域中具体是哪个对象。

对象识别这件事（一张图片仅包含一个对象，且基本占据图片的整个范围），最近几年基于CNN卷积神经网络的各种方法已经能达到不错的效果了。**所以主要需要解决的问题是，对象在哪里。**

最简单的想法，就是遍历图片中所有可能的位置，地毯式搜索不同大小，不同宽高比，不同位置的每个区域，逐一检测其中是否存在某个对象，挑选其中概率最大的结果作为输出。显然这种方法效率太低。

#### 2.YOLO 架构

**（1）结构**

> YOLO的结构非常简单，就是单纯的卷积、池化最后加了两层全连接。单看网络结构的话，和普通的CNN对象分类网络几乎没有本质的区别，最大的差异是最后输出层用线性函数做激活函数，因为需要预测bounding box的位置（数值型），而不仅仅是对象的概率。所以粗略来说，YOLO的整个结构就是输入图片经过神经网络的变换得到一个输出的张量，如下图所示。

![](https://pic4.zhimg.com/80/v2-920e11d2b566e9816f9bc69311113903_1440w.jpg)

因为只是一些常规的神经网络结构，所以，理解YOLO的设计的时候，重要的是理解输入和输出的映射关系.

**（2）输入和输出的映射关系**

![](https://pic4.zhimg.com/80/v2-33df11dea3ad6ba31fccb709f26fc1d3_1440w.jpg)

>                      图5 输入 - 输出

**（3）输入**

参考图5，输入就是原始图像，唯一的要求是缩放到448\*448的大小。主要是因为YOLO的网络中，卷积层最后接了两个全连接层，全连接层是要求固定大小的向量作为输入，所以倒推回去也就要求原始图像有固定的尺寸。那么YOLO设计的尺寸就是448*448。

**（4）输出**

输出是一个 7\*7\*30 的张量（tensor）。

**（4.1）7*7网格**

根据YOLO的设计，输入图像被划分为 7*7 的网格（grid），输出张量中的 7*7 就对应着输入图像的 7*7 网格。或者我们把 7*7*30 的张量看作 7*7=49个30维的向量，也就是输入图像中的每个网格对应输出一个30维的向量。参考上面图5，比如输入图像左上角的网格对应到输出张量中左上角的向量。

要注意的是，并不是说仅仅网格内的信息被映射到一个30维向量。经过神经网络对输入图像信息的提取和变换，网格周边的信息也会被识别和整理，最后编码到那个30维向量中。

**（4.2）30维向量**

具体来看每个网格对应的30维向量中包含了哪些信息。

![](https://pic1.zhimg.com/80/v2-6c421d06d70a1906b12ca057dfa92d0c_1440w.jpg)

**① 20个对象分类的概率**

因为YOLO支持识别20种不同的对象（人、鸟、猫、汽车、椅子等），所以这里有20个值表示该网格位置存在任一种对象的概

率。可以记为 ![公式](https://www.zhihu.com/equation?tex=P%28C_1%7CObject%29%2C+......%2C+P%28C_i%7CObject%29%2C......P%28C_%7B20%7D%7CObject%29) ，之所以写成条件概率，意思是如果该网格存在一个对

象Object，那么它是 ![公式](https://www.zhihu.com/equation?tex=C_i) 的概率是 ![公式](https://www.zhihu.com/equation?tex=P%28C_i%7CObject%29) 。（记不清条件概率的同学可以参考一下 [理解贝叶斯定理](https://zhuanlan.zhihu.com/p/45432367)）

**② 2个bounding box的位置**

每个bounding box需要4个数值来表示其位置，(Center_x,Center_y,width,height)，即(bounding box的中心点的x坐标，y坐标，bounding box的宽度，高度)，2个bounding box共需要8个数值来表示其位置。

**③ 2个bounding box的置信度**

bounding box的置信度 = 该bounding box内存在对象的概率 * 该bounding box与该对象实际bounding box的IOU

用公式来表示就是 ![公式](https://www.zhihu.com/equation?tex=%5C%5C+Confidence+%3D+Pr%28Object%29++%2A+IOU_%7Bpred%7D%5E%7Btruth%7D+)

![公式](https://www.zhihu.com/equation?tex=Pr%28Object%29) 是bounding box内存在对象的概率，区别于上面第①点的 ![公式](https://www.zhihu.com/equation?tex=P%28C_i%7CObject%29) 。Pr(Object)并不管是哪个对象，它体现的是 有或没有 对象的概率。第①点中的 ![公式](https://www.zhihu.com/equation?tex=P%28C_i%7CObject%29) 意思是假设已经有一个对象在网格中了，这个对象具体是哪一个。

![公式](https://www.zhihu.com/equation?tex=IOU_%7Bpred%7D%5E%7Btruth%7D) 是 bounding box 与 对象真实bounding box 的IOU（Intersection over Union，交并比）。要注意的是，现在讨论的30维向量中的bounding box是YOLO网络的输出，也就是预测的bounding box。所以 ![公式](https://www.zhihu.com/equation?tex=IOU_%7Bpred%7D%5E%7Btruth%7D) 体现了预测的bounding box与真实bounding box的接近程度。

还要说明的是，虽然有时说"预测"的bounding box，但这个IOU是在训练阶段计算的。等到了测试阶段（Inference），这时并不知道真实对象在哪里，只能完全依赖于网络的输出，这时已经不需要（也无法）计算IOU了。

综合来说，一个bounding box的置信度Confidence意味着它 是否包含对象且位置准确的程度。置信度高表示这里存在一个对象且位置比较准确，置信度低表示可能没有对象 或者 即便有对象也存在较大的位置偏差。

简单解释一下IOU。下图来自Andrew Ng的深度学习课程，IOU=交集部分面积/并集部分面积，2个box完全重合时IOU=1，不相交时IOU=0。

![](https://pic4.zhimg.com/80/v2-eeb3f45101763b9718d97252d9381edb_1440w.jpg)

总的来说，30维向量 = 20个对象的概率 + 2个bounding box \* 4个坐标 + 2个bounding box的置信度

**4.3）讨论**

① 一张图片最多可以检测出49个对象

每个30维向量中只有一组（20个）对象分类的概率，也就只能预测出一个对象。所以输出的 7\*7=49个 30维向量，最多表示出49个对象。

② 总共有 49\*2=98 个候选区（bounding box）

每个30维向量中有2组bounding box，所以总共是98个候选区。

③ YOLO的bounding box并不是Faster RCNN的Anchor

Faster RCNN等一些算法采用每个grid中手工设置n个Anchor（先验框，预先设置好位置的bounding box）的设计，每个Anchor有不同的大小和宽高比。YOLO的bounding box看起来很像一个grid中2个Anchor，但它们不是。YOLO并没有预先设置2个bounding box的大小和形状，也没有对每个bounding box分别输出一个对象的预测。它的意思仅仅是对一个对象预测出2个bounding box，选择预测得相对比较准的那个。

这里采用2个bounding box，有点不完全算监督算法，而是像进化算法。如果是监督算法，我们需要**事先**根据样本就能给出一个正确的bounding box作为回归的目标。但YOLO的2个bounding box事先并不知道会在什么位置，只有经过前向计算，网络会输出2个bounding box，这两个bounding box与样本中对象实际的bounding box计算IOU。这时才能确定，IOU值大的那个bounding box，作为负责预测该对象的bounding box。

训练开始阶段，网络预测的bounding box可能都是乱来的，但总是选择IOU相对好一些的那个，随着训练的进行，每个bounding box会逐渐擅长对某些情况的预测（可能是对象大小、宽高比、不同类型的对象等）。所以，这是一种进化或者非监督学习的思想。

另外论文中经常提到**responsible**。比如：Our system divides the input image into an S*S grid. If the center of an object falls into a grid cell, that grid cell is responsible for detecting that object. 这个 responsible 有点让人疑惑，对预测"负责"是啥意思。其实没啥特别意思，就是一个Object只由一个grid来进行预测，不要多个grid都抢着预测同一个Object。更具体一点说，就是在设置训练样本的时候，样本中的每个Object归属到且仅归属到一个grid，即便有时Object跨越了几个grid，也仅指定其中一个。具体就是计算出该Object的bounding box的中心位置，这个中心位置落在哪个grid，该grid对应的输出向量中该对象的类别概率是1（该gird负责预测该对象），所有其它grid对该Object的预测概率设为0（不负责预测该对象）。

还有：YOLO predicts multiple bounding boxes per grid cell. At training time we only want one bounding box predictor to be responsible for each object. 同样，虽然一个grid中会产生2个bounding box，但我们会选择其中一个作为预测结果，另一个会被忽略。下面构造训练样本的部分会看的更清楚。

④ 可以调整网格数量、bounding box数量

7\*7网格，每个网格2个bounding box，对448*448输入图像来说覆盖粒度有点粗。我们也可以设置更多的网格以及更多的bounding box。设网格数量为 S*S，每个网格产生B个边框，网络支持识别C个不同的对象。这时，输出的向量长度为： ![公式](https://www.zhihu.com/equation?tex=%5C%5C+C+%2B+B+%2A+%284%2B1%29+) 整个输出的tensor就是： ![公式](https://www.zhihu.com/equation?tex=%5C%5C+S+%2A+S+%2A+%28C+%2B+B+%2A+%284%2B1%29%29+)

YOLO选择的参数是 7\*7网格，2个bounding box，20种对象，因此 输出向量长度 = 20 + 2 \* (4+1) = 30。整个输出的tensor就是 7\*7\*30。

因为网格和bounding box设置的比较稀疏，所以这个版本的YOLO训练出来后预测的准确率和召回率都不是很理想，后续的v2、v3版本还会改进。当然，因为其速度能够满足实时处理的要求，所以对工业界还是挺有吸引力的。

**5）训练样本构造**

作为监督学习，我们需要先构造好训练样本，才能让模型从中学习。

![](https://pic3.zhimg.com/80/v2-17c92e768f2f0e379f96a197bd0ec842_1440w.jpg)

>                           图8 输入样本图片

对于一张输入图片，其对应输出的7\*7\*30张量（也就是通常监督学习所说的标签y或者label）应该填写什么数据呢。

首先，输出的 7\*7维度 对应于输入的 7\*7 网格。 然后具体看下30维向量的填写（请对照上面图6）。

**① 20个对象分类的概率**

对于输入图像中的每个对象，先找到其中心点。比如图8中的自行车，其中心点在黄色圆点位置，中心点落在黄色网格内，所以这个黄色网格对应的30维向量中，自行车的概率是1，其它对象的概率是0。所有其它48个网格的30维向量中，该自行车的概率都是0。这就是所谓的"中心点所在的网格对预测该对象负责"。狗和汽车的分类概率也是同样的方法填写。

**② 2个bounding box的位置**

训练样本的bounding box位置应该填写对象实际的bounding box，但一个对象对应了2个bounding box，该填哪一个呢？上面讨论过，需要根据网络输出的bounding box与对象实际bounding box的IOU来选择，所以要在训练过程中动态决定到底填哪一个bounding box。参考下面第③点。

**③ 2个bounding box的置信度**

上面讨论过置信度公式 ![公式](https://www.zhihu.com/equation?tex=%5C%5C+Confidence+%3D+Pr%28Object%29++%2A+IOU_%7Bpred%7D%5E%7Btruth%7D+) ![公式](https://www.zhihu.com/equation?tex=IOU_%7Bpred%7D%5E%7Btruth%7D) 可以直接计算出来，就是用网络输出的2个bounding box与对象真实bounding box一起计算出IOU。

然后看2个bounding box的IOU，哪个比较大（更接近对象实际的bounding box），就由哪个bounding box来负责预测该对象是否存在，即该bounding box的 ![公式](https://www.zhihu.com/equation?tex=Pr%28Object%29+%3D1) ，同时对象真实bounding box的位置也就填入该bounding box。另一个不负责预测的bounding box的 ![公式](https://www.zhihu.com/equation?tex=Pr%28Object%29+%3D0) 。

总的来说就是，与对象实际bounding box最接近的那个bounding box，其 ![公式](https://www.zhihu.com/equation?tex=Confidence%3DIOU_%7Bpred%7D%5E%7Btruth%7D) ，该网格的其它bounding box的 ![公式](https://www.zhihu.com/equation?tex=Confidence%3D0) 。

举个例子，比如上图中自行车的中心点位于4行3列网格中，所以输出tensor中4行3列位置的30维向量如下图所示。

![](https://pic3.zhimg.com/80/v2-1e899c7d3527c8951724232c73b2bcce_1440w.jpg)

图9 训练样本的一个30维向量

翻译成人话就是：4行3列网格位置有一辆自行车，它的中心点在这个网格内，它的位置边框是bounding box1所填写的自行车实际边框。

注意，图中将自行车的位置放在bounding box1，但实际上是在训练过程中等网络输出以后，比较两个bounding box与自行车实际位置的IOU，自行车的位置（实际bounding box）放置在IOU比较大的那个bounding box（图中假设是bounding box1），且该bounding box的置信度设为1。

**6）损失函数**

损失就是网络实际输出值与样本标签值之间的偏差。

![](https://pic4.zhimg.com/80/v2-b5dcfc68cab66010a12fb375fcc1ea5b_1440w.jpg)    
>                      图10 样本标签与网络实际输出

YOLO给出的损失函数如下

![](https://pic1.zhimg.com/80/v2-e09d0d22173276a231c310d93617fc24_1440w.jpg)

>                       图11 损失函数

公式中

![公式](https://www.zhihu.com/equation?tex=1_i%5E%7Bobj%7D) 意思是网格i中存在对象。

![公式](https://www.zhihu.com/equation?tex=1_%7Bij%7D%5E%7Bobj%7D) 意思是网格i的第j个bounding box中存在对象。

![公式](https://www.zhihu.com/equation?tex=1_%7Bij%7D%5E%7Bnoobj%7D) 意思是网格i的第j个bounding box中不存在对象。

总的来说，就是用网络输出与样本标签的各项内容的误差平方和作为一个样本的整体误差。 损失函数中的几个项是与输出的30维向量中的内容相对应的。

**① 对象分类的误差**

公式第5行，注意 ![公式](https://www.zhihu.com/equation?tex=1_i%5E%7Bobj%7D) 意味着存在对象的网格才计入误差。

**② bounding box的位置误差**

公式第1行和第2行。

a）都带有 ![公式](https://www.zhihu.com/equation?tex=1_%7Bij%7D%5E%7Bobj%7D) 意味着只有"负责"（IOU比较大）预测的那个bounding box的数据才会计入误差。

b）第2行宽度和高度先取了平方根，因为如果直接取差值的话，大的对象对差值的敏感度较低，小的对象对差值的敏感度较高，所以取平方根可以降低这种敏感度的差异，使得较大的对象和较小的对象在尺寸误差上有相似的权重。

c）乘以 ![公式](https://www.zhihu.com/equation?tex=%5Clambda_%7Bcoord%7D) 调节bounding box位置误差的权重（相对分类误差和置信度误差）。YOLO设置 ![公式](https://www.zhihu.com/equation?tex=%5Clambda_%7Bcoord%7D+%3D+5) ，即调高位置误差的权重。

**③ bounding box的置信度误差**

公式第3行和第4行。

a）第3行是存在对象的bounding box的置信度误差。带有 ![公式](https://www.zhihu.com/equation?tex=1_%7Bij%7D%5E%7Bobj%7D) 意味着只有"负责"（IOU比较大）预测的那个bounding box的置信度才会计入误差。

b）第4行是不存在对象的bounding box的置信度误差。因为不存在对象的bounding box应该老老实实的说"我这里没有对象"，也就是输出尽量低的置信度。如果它不恰当的输出较高的置信度，会与真正"负责"该对象预测的那个bounding box产生混淆。其实就像对象分类一样，正确的对象概率最好是1，所有其它对象的概率最好是0。

c）第4行会乘以 ![公式](https://www.zhihu.com/equation?tex=%5Clambda_%7Bnoobj%7D) 调节不存在对象的bounding box的置信度的权重（相对其它误差）。YOLO设置 ![公式](https://www.zhihu.com/equation?tex=%5Clambda_%7Bnoobj%7D+%3D+0.5) ，即调低不存在对象的bounding box的置信度误差的权重。

**7）训练**

YOLO先使用ImageNet数据集对前20层卷积网络进行预训练，然后使用完整的网络，在PASCAL VOC数据集上进行对象识别和定位的训练和预测。YOLO的网络结构如下图所示：

![](https://pic3.zhimg.com/80/v2-9011aa1a598d548329a40428cc89ee22_1440w.jpg)

YOLO的最后一层采用线性激活函数，其它层都是Leaky ReLU。训练中采用了drop out和数据增强（data augmentation）来防止过拟合。更多细节请参考原论文。

**8）预测（inference）**

训练好的YOLO网络，输入一张图片，将输出一个 7\*7\*30 的张量（tensor）来表示图片中所有网格包含的对象（概率）以及该对象可能的2个位置（bounding box）和可信程度（置信度）。 为了从中提取出最有可能的那些对象和位置，YOLO采用NMS（Non-maximal suppression，非极大值抑制）算法。

**9）NMS（非极大值抑制）**

NMS方法并不复杂，其核心思想是：选择得分最高的作为输出，与该输出重叠的去掉，不断重复这一过程直到所有备选处理完。

YOLO的NMS计算方法如下。

网络输出的7\*7\*30的张量，在每一个网格中，对象 ![公式](https://www.zhihu.com/equation?tex=C_i) 位于第j个bounding box的得分：

![公式](https://www.zhihu.com/equation?tex=%5C%5C+Score_%7Bij%7D+%3D+P%28C_i%7CObject%29+%2A+Confidence_j+) 它代表着某个对象 ![公式](https://www.zhihu.com/equation?tex=C_i) 存在于第j个bounding box的

可能性。

每个网格有：20个对象的概率\*2个bounding box的置信度，共40个得分（候选对象）。49个网格共1960个得分。Andrew Ng建议每种对象分别进行NMS，那么每种对象有 1960/20=98 个得分。

NMS步骤如下：

1）设置一个Score的阈值，低于该阈值的候选对象排除掉（将该Score设为0）

2）遍历每一个对象类别

2.1）遍历该对象的98个得分

2.1.1）找到Score最大的那个对象及其bounding box，添加到输出列表

2.1.2）对每个Score不为0的候选对象，计算其与上面2.1.1输出对象的bounding box的IOU

2.1.3）根据预先设置的IOU阈值，所有高于该阈值（重叠度较高）的候选对象排除掉（将Score设为0）

2.1.4）如果所有bounding box要么在输出列表中，要么Score=0，则该对象类别的NMS完成，返回步骤2处理下一种对象

3）输出列表即为预测的对象

0.0分

2 人评分

看不懂代码解释一下代码? 或者生成一段代码？试试AI编程助手吧

jimore

TA的其他文章

你可能喜欢

C语言程序设计教程（第三版）课后习题6.2 （C语言代码）

C语言程序设计教程（第三版）课后习题10.4 （C语言代码）

2004年秋浙江省计算机等级考试二级C 编程题(1) （C语言代码）

C语言程序设计教程（第三版）课后习题8.8 （C++代码）

点我有惊喜！你懂得！

YOLO v1（小白教程）

评论区

精彩推荐

母牛的故事（C语言代码）

C语言程序设计教程（第三版）课后习题9.10 （C语言代码）

C语言程序设计教程（第三版）课后习题3.7 （C语言代码）

【偶数求和】（C语言代码）

C语言程序设计教程（第三版）课后习题6.8 （C++代码）

C语言程序设计教程（第三版）课后习题8.7 （C语言代码）

模拟计算器（C++代码）

筛排处理（C语言代码）

C语言程序设计教程（第三版）课后习题5.6 （C语言代码）

字符删除（C语言代码）

jimore

TA的其他文章

你可能喜欢

C语言程序设计教程（第三版）课后习题6.2 （C语言代码）

C语言程序设计教程（第三版）课后习题10.4 （C语言代码）

2004年秋浙江省计算机等级考试二级C 编程题(1) （C语言代码）

C语言程序设计教程（第三版）课后习题8.8 （C++代码）

点我有惊喜！你懂得！

YOLO v1（小白教程）

评论区

精彩推荐

母牛的故事 （C语言代码）

C语言程序设计教程（第三版）课后习题9.10 （C语言代码）

C语言程序设计教程（第三版）课后习题3.7 （C语言代码）

【偶数求和】 （C语言代码）

C语言程序设计教程（第三版）课后习题6.8 （C++代码）

C语言程序设计教程（第三版）课后习题8.7 （C语言代码）

模拟计算器 （C++代码）

筛排处理 （C语言代码）

C语言程序设计教程（第三版）课后习题5.6 （C语言代码）

字符删除 （C语言代码）

　　评论区

母牛的故事（C语言代码）

【偶数求和】（C语言代码）

模拟计算器（C++代码）

筛排处理（C语言代码）

字符删除（C语言代码）