如何利用opencv进行样本训练

OpenCV训练分类器

一、简介

目标检测方法最初由Paul Viola [Viola01]提出，并由Rainer Lienhart [Lienhart02]对这一方法进行了改善。

该方法的基本步骤为：

首先，利用样本（大约几百幅样本图片）的 harr 特征进行分类器训练，得到一个级联的boosted分类器。

分类器中的"级联"是指最终的分类器是由几个简单分类器级联组成。在图像检测中，被检窗口依次通过每一级分类器， 这样在前面几层的检测中大部分的候选区域就被排除了，全部通过每一级分类器检测的区域即为目标区域。

分类器训练完以后，就可以应用于输入图像中的感兴趣区域(与训练样本相同的尺寸)的检测。检测到目标区域(汽车或人脸)分类器输出为1，否则输出为0。为了检测整副图像，可以在图像中移动搜索窗口，检测每一个位置来确定可能的目标。为了搜索不同大小的目标物体，分类器被设计为可以进行尺寸改变，这样比改变待检图像的尺寸大小更为有效。所以，为了在图像中检测未知大小的目标物体，扫描程序通常需要用不同比例大小的搜索窗口对图片进行几次扫描。

目前支持这种分类器的boosting技术有四种：

Discrete Adaboost, Real Adaboost, Gentle Adaboost and Logitboost。

"boosted" 即指级联分类器的每一层都可以从中选取一个boosting算法(权重投票)，并利用基础分类器的自我训练得到。

根据上面的分析，目标检测分为三个步骤：

1、 样本的创建

2、 训练分类器

3、 利用训练好的分类器进行目标检测。

二、样本创建

训练样本分为正例样本和反例样本，其中正例样本是指待检目标样本(例如人脸或汽车等)，反例样本指其它任意图片，所有的样本图片都被归一化为同样的尺寸大小(例如，20x20)。

负样本

负样本可以来自于任意的图片，但这些图片不能包含目标特征。负样本由背景描述文件来描述。背景描述文件是一个文本文件，每一行包含了一个负样本图片的文件名（基于描述文件的相对路径）。该文件必须手工创建。

e.g: 负样本描述文件的一个例子：

假定目录结构如下：

/img

img1.jpg

img2.jpg

bg.txt

则背景描述文件bg.txt的内容为：

img/img1.jpg

img/img2.jpg

正样本

正样本由程序craatesample程序来创建。该程序的源代码由OpenCV给出，并且在bin目录下包含了这个可执行的程序。

正样本可以由单个的目标图片或者一系列的事先标记好的图片来创建。

Createsamples程序的命令行参数：

命令行参数：

－vec <vec_file_name>

训练好的正样本的输出文件名。

－img<image_file_name>

源目标图片（例如：一个公司图标）

－bg<background_file_name>

背景描述文件。

－num<number_of_samples>

要产生的正样本的数量，和正样本图片数目相同。

－bgcolor<background_color>

背景色（假定当前图片为灰度图）。背景色制定了透明色。对于压缩图片，颜色方差量由bgthresh参数来指定。则在bgcolor－bgthresh和bgcolor＋bgthresh中间的像素被认为是透明的。

－bgthresh<background_color_threshold>

－inv

如果指定，颜色会反色

－randinv

如果指定，颜色会任意反色

－maxidev<max_intensity_deviation>

背景色最大的偏离度。

－maxangel<max_x_rotation_angle>

－maxangle<max_y_rotation_angle>，

－maxzangle<max_x_rotation_angle>

最大旋转角度，以弧度为单位。

－show

如果指定，每个样本会被显示出来，按下"esc"会关闭这一开关，即不显示样本图片，而创建过程继续。这是个有用的debug选项。

－w<sample_width>

输出样本的宽度（以像素为单位）

－h《sample_height》

输出样本的高度，以像素为单位。

注：正样本也可以从一个预先标记好的图像集合中获取。这个集合由一个文本文件来描述，类似于背景描述文件。每一个文本行对应一个图片。每行的第一个元素是图片文件名，第二个元素是对象实体的个数。后面紧跟着的是与之匹配的矩形框（x, y, 宽度，高度）。

转自：http://hi.baidu.com/andyzcj/blog/item/3b9575fc63c3201f09244d9a.html可能遇到的问题：1.如果跑到某一个分类器时，几个小时也没有反应，而且显示不出训练百分比，这是因为你的负样本数量太少，或者负样本的尺寸太小，所有的负样本在这个分类器都被reject了，程序进入不了下一个循环，果断放弃吧。解决方法：负样本尽量要大一些，比如我的正样本是40*15，共300个,负样本是640*480，共500个。2.读取样本时报错：NegativeortoolargeargumentofCvAllocfunction，网上说这个错误是因为opencv规定单幅iplimage的内存分配不能超过10000，可是我的每个负样本都不会超过这个大小，具体原因不明。后来我把负样本的数量减少，尺寸加大，这个问题就解决了。最近要做一个性别识别的项目，在人脸检测与五官定位上我采用OPENCV的haartraining进行定位，这里介绍下这两天我学习的如何用opencv训练自己的分类器。在这两天的学习里，我遇到了不少问题，不过我遇到了几个好心的大侠帮我解决了不少问题，特别是无忌，在这里我再次感谢他的帮助。一、简介目标检测方法最初由PaulViola[Viola01]提出，并由RainerLienhart[Lienhart02]对这一方法进行了改善。该方法的基本步骤为：首先，利用样本（大约几百幅样本图片）的harr特征进行分类器训练，得到一个级联的boosted分类器。分类器中的"级联"是指最终的分类器是由几个简单分类器级联组成。在图像检测中，被检窗口依次通过每一级分类器，这样在前面几层的检测中大部分的候选区域就被排除了，全部通过每一级分类器检测的区域即为目标区域。分类器训练完以后，就可以应用于输入图像中的感兴趣区域的检测。检测到目标区域分类器输出为1，否则输出为0。为了检测整副图像，可以在图像中移动搜索窗口，检测每一个位置来确定可能的目标。为了搜索不同大小的目标物体，分类器被设计为可以进行尺寸改变，这样比改变待检图像的尺寸大小更为有效。所以，为了在图像中检测未知大小的目标物体，扫描程序通常需要用不同比例大小的搜索窗口对图片进行几次扫描。目前支持这种分类器的boosting技术有四种：DiscreteAdaboost,RealAdaboost,GentleAdaboostandLogitboost。"boosted"即指级联分类器的每一层都可以从中选取一个boosting算法(权重投票)，并利用基础分类器的自我训练得到。根据上面的分析，目标检测分为三个步骤：1、样本的创建2、训练分类器3、利用训练好的分类器进行目标检测。二、样本创建训练样本分为正例样本和反例样本，其中正例样本是指待检目标样本，反例样本指其它任意图片。负样本负样本可以来自于任意的图片，但这些图片不能包含目标特征。负样本由背景描述文件来描述。背景描述文件是一个文本文件，每一行包含了一个负样本图片的文件名（基于描述文件的相对路径）。该文件创建方法如下：采用Dos命令生成样本描述文件。具体方法是在Dos下的进入你的图片目录，比如我的图片放在D:\face\posdata下，则：按Ctrl+R打开Windows运行程序，输入cmd打开DOS命令窗口，输入d:回车，再输入cdD:\face\negdata进入图片路径，再次输入dir/b>negdata.dat，则会图片路径下生成一个negdata.dat文件，打开该文件将最后一行的negdata.dat删除，这样就生成了负样本描述文件。dos命令窗口结果如下图：正样本对于正样本，通常的做法是先把所有正样本裁切好，并对尺寸做规整（即缩放至指定大小），如下图所示：由于HaarTraining训练时输入的正样本是vec文件，所以需要使用OpenCV自带的CreateSamples程序（在你所按照的opencv\bin下，如果没有需要编译opencv\apps\HaarTraining\make下的.dsw文件，注意要编译release版的）将准备好的正样本转换为vec文件。转换的步骤如下：1)制作一个正样本描述文件，用于描述正样本文件名（包括绝对路径或相对路径），正样本数目以及各正样本在图片中的位置和大小。典型的正样本描述文件如下：posdata/1(10).bmp1112323posdata/1(11).bmp1112323posdata/1(12).bmp1112323不过你可以把描述文件放在你的posdata路径（即正样本路径）下，这样你就不需要加前面的相对路径了。同样它的生成方式可以用负样本描述文件的生成方法，最后用txt的替换工具将“bmp”全部替换成“bmp1112323”就可以了，如果你的样本图片多，用txt替换会导致程序未响应，你可以将内容拷到word下替换，然后再拷回来。bmp后面那五个数字分别表示图片个数，目标的起始位置及其宽高。这样就生成了正样本描述文件posdata.dat。2)运行CreateSamples程序。如果直接在VC环境下运行，可以在Project\Settings\Debug属性页的Programarguments栏设置运行参数。下面是一个运行参数示例：-infoD:\face\posdata\posdata.dat-vecD:\face\pos.vec-num50-w20-h20表示有50个样本，样本宽20，高20，正样本描述文件为posdata.dat，结果输出到pos.vec。或者在dos下输入："D:\ProgramFiles\OpenCV\bin\createsamples.exe"-info"posdata\posdata.dat"-vecdata\pos.vec-num50-w20-h20运行完了会d:\face\data下生成一个*.vec的文件。该文件包含正样本数目，宽高以及所有样本图像数据。结果入下图：Createsamples程序的命令行参数：命令行参数：－vec训练好的正样本的输出文件名。－img源目标图片（例如：一个公司图标）－bg背景描述文件。－num要产生的正样本的数量，和正样本图片数目相同。－bgcolor背景色（假定当前图片为灰度图）。背景色制定了透明色。对于压缩图片，颜色方差量由bgthresh参数来指定。则在bgcolor－bgthresh和bgcolor＋bgthresh中间的像素被认为是透明的。－bgthresh－inv如果指定，颜色会反色－randinv如果指定，颜色会任意反色－maxidev背景色最大的偏离度。－maxangel－maxangle，－maxzangle最大旋转角度，以弧度为单位。－show如果指定，每个样本会被显示出来，按下"esc"会关闭这一开关，即不显示样本图片，而创建过程继续。这是个有用的debug选项。－w输出样本的宽度（以像素为单位）－h《sample_height》输出样本的高度，以像素为单位。到此第一步样本训练就完成了。恭喜你，你已经学会训练分类器的五成功力了，我自己学这个的时候花了我一天的时间，估计你几分钟就学会了吧。三、训练分类器样本创建之后，接下来要训练分类器，这个过程是由haartraining程序来实现的。该程序源码由OpenCV自带，且可执行程序在OpenCV安装目录的bin目录下。Haartraining的命令行参数如下：－data存放训练好的分类器的路径名。－vec正样本文件名（由trainingssamples程序或者由其他的方法创建的）－bg背景描述文件。－npos，－nneg用来训练每一个分类器阶段的正/负样本。合理的值是：nPos=7000nNeg=3000－nstages训练的阶段数。－nsplits决定用于阶段分类器的弱分类器。如果1，则一个简单的stumpclassifier被使用。如果是2或者，则带有number_of_splits个内部节点的CART分类器被使用。－mem预先计算的以MB为单位的可用内存。内存越大则训练的速度越快。－sym（default）－nonsym指定训练的目标对象是否垂直对称。垂直对称提高目标的训练速度。例如，正面部是垂直对称的。－minhitrate《min_hit_rate》每个阶段分类器需要的最小的命中率。总的命中率为min_hit_rate的number_of_stages次方。－maxfalsealarm没有阶段分类器的最大错误报警率。总的错误警告率为max_false_alarm_rate的number_of_stages次方。－weighttrimming指定是否使用权修正和使用多大的权修正。一个基本的选择是0.9－eqw－mode选择用来训练的haar特征集的种类。basic仅仅使用垂直特征。all使用垂直和45度角旋转特征。－w《sample_width》－h《sample_height》训练样本的尺寸，（以像素为单位）。必须和训练样本创建的尺寸相同。一个训练分类器的例子："D:\ProgramFiles\OpenCV\bin\haartraining.exe"-datadata\cascade-vecdata\pos.vec-bgnegdata\negdata.dat-npos49-nneg49-mem200-modeALL-w20-h20训练结束后，会在目录data下生成一些子目录，即为训练好的分类器。训练结果如下：恭喜你，你已经学会训练分类器的九成功力了。四：利用训练好的分类器进行目标检测。这一步需要用到performance.exe，该程序源码由OpenCV自带，且可执行程序在OpenCV安装目录的bin目录下。performance.exe-datadata/cascade-infoposdata/test.dat-w20-h20-rs30performance的命令行参数如下：Usage:./performance-data-info[-maxSizeDiff][-maxPosDiff][-sf][-ni][-nos][-rs][-w][-h]也可以用opencv的cvHaarDetectObjects函数进行检测：CvSeq*faces=cvHaarDetectObjects(img,cascade,storage,1.1,2,CV_HAAR_DO_CANNY_PRUNING,cvSize(40,40))//3.检测人脸

首先，需要说明的是，OpenCV自带的haar training提取的特征是haar特征 分类器是AdaBoost级联分类器（如需了解Adaboost算法， 。所谓的级联分类器，就是将若干的简单的分量分类器（可以理解为一般的普通分类器）依次串联起来，最终的检测分类结果，要依次通过所有的分量分类器才能算是一个有效的检测分类结果。否则，就认为当前检测区域内没有我们需要找的目标。

利用OpenCV自带的haar training程序训练一个分类器，需要经过以下几个步骤：

（1）收集训练样本：

训练样本包括正样本和负样本。正样本，通俗点说，就是图片中只有你需要的目标。而负样本的图片只要其中不含有目标就可以了。但需要说明的是，负样本也并非随便选取的。例如，你需要检测的目标是汽车，那么正样本就应该是仅仅含有汽车的图片，而负样本显然不能是一些包含天空的，海洋的，风景的图片。因为你最终训练分类器的目的是检测汽车，而汽车应该出现在马路上。也就是说，分类器最终检测的图片应该是那些包含马路，交通标志，建筑物，广告牌，汽车，摩托车，三轮车，行人，自行车等在内的图片。很明显，这里的负样本应该是包含摩托车、三轮车、自行车、行人、路面、灌木丛、花草、交通标志、广告牌等。

另外，需要提醒的是，adaboost方法也是机器学习中的一个经典算法，而机器学习算法的前提条件是，测试样本和训练样本独立同分布。所谓的独立同分布，可以简单理解为：训练样本要和最终的应用场合非常接近或者一致。否则，基于机器学习的算法并不能保证算法的有效性。此外，足够的训练样本（至少得几千张正样本、几千张负样本）也是保证训练算法有效性的一个前提条件。

这里，假设所有的正样本都放在f:/pos文件夹下，所有的负样本都放在f:/neg文件夹下；

（2）对所有的正样本进行尺寸归一化：

上一步收集到的正样本，有很多的尺寸大小，有的是200*300，有的是500*800...尺寸归一化的目的，就是把所有的图片都缩放到同一大小。比如，都缩放到50*60的大小。

（3）生成正样本描述文件：

所谓的正样本描述文件，其实就是一个文本文件，只不过，很多人喜欢将这个文件的后缀改成.dat而已。正样本描述文件中的内容包括：文件名 目标个数 目标在图片中的位置（x,y,width,height）

典型的正样本描述文件如下所示：

0.jpg 1 0 0 30 40

1.jpg 1 0 0 30 40

2.jpg 1 0 0 30 40

.....

不难发现，正样本描述文件中，每一个正样本占一行，每一行以正样本图片开头，后面紧跟着该图片中正样本的数量（通常为1），以及正样本在图片中的位置

假如，f:\pos文件夹下有5000个正样本图片，每个图片中仅有一个目标。那么，我们可以写程序（遍历文件夹中的所有图片文件，将文件名写入到文件中，将正样本在图片中的位置，大小都写入文件中）生成一个pos.dat文件作为正样本描述文件。

（4）创建正样本vec文件

由于haarTraining训练的时候需要输入的正样本是vec文件，所以需要使用createsamples程序来将正样本转换为vec文件。

打开OpenCV安装目录下bin文件夹里面的名为createSamples（新版本的OpenCV里面改名为opencv_createSamples）的可执行程序。需要提醒的是，该程序应该通过命令行启动（可以参考我的另一篇博客：http://blog.csdn.net/carson2005/article/details/6704589 ）。并设置正样本所在的路径以及生成的正样本文件保存路劲（例如：f:\pos\pos.vec）。

Createsamples程序的命令行参数：

命令行参数：

－vec <vec_file_name>

训练好的正样本的输出文件名。

－img<image_file_name>

源目标图片（例如：一个公司图标）

－bg<background_file_name>

背景描述文件。

－num<number_of_samples>

要产生的正样本的数量，和正样本图片数目相同。

－bgcolor<background_color>

背景色（假定当前图片为灰度图）。背景色制定了透明色。对于压缩图片，颜色方差量由bgthresh参数来指定。则在bgcolor－bgthresh和bgcolor＋bgthresh中间的像素被认为是透明的。

－bgthresh<background_color_threshold>

－inv

如果指定，颜色会反色

－randinv

如果指定，颜色会任意反色

－maxidev<max_intensity_deviation>

背景色最大的偏离度。

－maxangel<max_x_rotation_angle>

－maxangle<max_y_rotation_angle>，

－maxzangle<max_x_rotation_angle>

最大旋转角度，以弧度为单位。

－show

如果指定，每个样本会被显示出来，按下"esc"会关闭这一开关，即不显示样本图片，而创建过程继续。这是个有用的debug选项。

－w<sample_width>

输出样本的宽度（以像素为单位）

－h《sample_height》

输出样本的高度，以像素为单位。

（5） 创建负样本描述文件

在保存负样本的文件夹下生成一个负样本描述文件，具体步骤同（3），此处不再赘叙；

（6）进行样本训练

该步骤通过调用OpenCV\bin目录下的haartraining程序(新版本的opencv改名为opencv_haartraining)来完成。其中，Haartraining的命令行参数为：

－data<dir_name>

存放训练好的分类器的路径名。

－vec<vec_file_name>

正样本文件名（由trainingssamples程序或者由其他的方法创建的）

－bg<background_file_name>

背景描述文件。

－npos<number_of_positive_samples>，

－nneg<number_of_negative_samples>

用来训练每一个分类器阶段的正/负样本。合理的值是：nPos = 7000nNeg = 3000

－nstages<number_of_stages>

训练的级联分类器层数。

－nsplits<number_of_splits>

决定用于阶段分类器的弱分类器。如果1，则一个简单的stump classifier被使用。如果是2或者更多，则带有number_of_splits个内部节点的CART分类器被使用。

－mem<memory_in_MB>

预先计算的以MB为单位的可用内存。内存越大则训练的速度越快。

－sym（default）

－nonsym

指定训练的目标对象是否垂直对称。垂直对称提高目标的训练速度。例如，正面部是垂直对称的。

－minhitrate《min_hit_rate》

每个阶段分类器需要的最小的命中率。总的命中率为min_hit_rate的number_of_stages次方。

－maxfalsealarm<max_false_alarm_rate>

没有阶段分类器的最大错误报警率。总的错误警告率为max_false_alarm_rate的number_of_stages次方。

－weighttrimming<weight_trimming>

指定是否使用权修正和使用多大的权修正。一个基本的选择是0.9

－eqw

－mode<basic(default)|core|all>

选择用来训练的haar特征集的种类。basic仅仅使用垂直特征。all使用垂直和45度角旋转特征。

－w《sample_width》

－h《sample_height》

训练样本的尺寸，（以像素为单位）。必须和训练样本创建的尺寸相同。

一个训练分类器的例子：

"D:\Program Files\OpenCV\bin\haartraining.exe" -data data\cascade -vec data\pos.vec -bg negdata\negdata.dat -npos 49 -nneg 49 -mem 200 -mode ALL -w 20 -h 20

训练结束后，会在目录data下生成一些子目录，即为训练好的分类器。

（7） 生成xml文件

上一步在进行haartraining的时候，会在data目录下生成一些目录及txt文件，我们需要调用opencv\bin\haarconv.exe将这些txt文件转换为xml文件，也就是所谓的分类器。

至此，分类器的训练工作已完成。剩下的，就是在程序中加载xml文件，并调用相应的函数接口来实现分类检测的作用了。

---