前景与背景差分得到的灰度图像，如何将目标识别出来

二值化的阈值你怎么确定的 matlab里面的T=graythresh（）确定的阈值是Otsu方法确定的 效果是可以的 车辆旁边的干扰因素可以在二值化后用数字图像的形态学膨胀腐蚀以及开运算和闭运算去掉

如果要算车辆在图像中的面积可以边缘检测之后和形态学处理后的图像联合处理并做掩模运算基本可分割出来车辆的目标以及整个车辆的区域

有的，函数是graythresh，代码如下，coinspng是自带的图像，代码可直接调用：

I = imread('coinspng');level = graythresh(I);BW = im2bw(I,level);imshow(BW)

graythresh（image）函数输入是一副图像，在图像的变化检测方向就是输入差异图（两幅图像对应位置做差或者做比，或者做对数比），输出就是阈值。在这个函数中，是使用最大类间方差法找到的一个合适的阈值（threshold）。再利用im2bw（将灰度图像转换为二值图像）函数，将找到的阈值输入，就可以把原图变为一个二值图。

程序示例如下：　

imggray = imread('cellbmp');　　

subplot(221); 

imshow(imggray); title('原始图像');　　

imgbw = im2bw(imggray);　　

subplot(222); imshow(imgbw); 

title( '使用默认阈值05');　　

imgbw = im2bw(imggray, 025);　　

subplot(223); imshow(imgbw); title( '指定阈值为025');　　

level = graythresh(imggray); 

imgbw = im2bw(imggray,level);　　

subplot(224); imshow(imgbw); 

title('使用最大类间方差法（Otsu）获得阈值');　

由此可见， 如果不使用graythresh函数来获得阈值， 可能需要多次尝试才能获得一个合适的阈值。

近年来，无人驾驶飞行器（UAV）在许多领域得到越来越广泛的应用。通过无人机航拍视频，可以方便地获取更多的静态和动态信息，掌握现场情况。帧配准、全景图像拼接、运动目标检测和跟踪是航拍视频分析处理的关键和基础。首先，我们使用 l_q-estimation 方法去除异常值并稳健地匹配特征点。然后我们利用移动直接线性变换 (MDLT) 方法更准确地找到帧的单应性，并将帧序列拼接成全景图。最后，我们在扭曲的帧上应用 5 帧差分方法来检测运动对象，并使用长期视觉跟踪方法在复杂场景中跟踪感兴趣的对象。

与有人驾驶飞机相比，无人机更小、更轻、更便宜，更适合执行危险任务。搭载视觉传感器的小型无人机是反恐、交通监控、救灾、战场监视等的理想平台。全景图像拼接、运动物体检测和跟踪是完成这些任务的关键技术。由于平台的运动，除了前景物体外，背景也在运动，因此背景的运动补偿是无人机航拍视频分析处理的必要步骤。背景运动补偿模块接收后对视频帧进行注册并生成相应的对齐图像，可以将帧序列拼接在一起以生成全景图以掌握整体信息。此外，可以通过帧减法检测运动物体，并通过跟踪模块跟踪感兴趣的物体。在本文中，我们首先提取相邻帧的 Harris 特征，然后介绍一种基于异常值去除和稳健特征匹配的 - 估计器，之后，利用 MDLT 方法找到帧的单应性。根据单应性，帧被注册并补偿平台的自我运动，并且全景由帧序列拼接。最后，使用5帧减法完成运动物体检测，并通过基于相关滤波器的视觉跟踪算法跟踪感兴趣的物体。

图像配准是利用匹配策略在两幅图像中找到对应特征点的正确位置，然后得到两幅图像之间的单应性进行配准。本文的图像配准算法包括几个部分：Harris特征点的提取和描述，用于稳健特征匹配的 - 估计器，用于估计单应性的 MDLT 方法。首先从两幅图像中提取和描述特征点，得到匹配点，然后去除离群点，对特征进行鲁棒匹配 - 估计器。最后，我们使用MDLT方法对满足图像不同部分的单应性进行加权估计，得到准确的投影模型参数来配准图像帧。

对于要匹配的图像对，我们执行Harris等特征匹配方法来确定N个初始匹配对应关系：

其中 ， 是匹配特征点的二维坐标， 如果是内点，则满足以下关系：

变换 可用 对内点匹配对最小二乘估计：

但这些点可能存在异常值，应去除异常值以正确估计变换。目前的方法通常使用两步策略或假设和验证技术（如RANSAC）来解决问题，这些方法总是非常耗时甚至无法得到合理的结果。

基于鲁棒性的特征匹配方法 -估计器直接估计与异常值的初始对应关系的转换。为了将残差向量自动分类为异常值集和内部值集，经典最小二乘损失函数对异常值敏感。 范数适合解决这样的问题，但由于观察中包含噪声，因此不可靠。通常情况下 范数被改编为最接近的凸松弛 正则化进行权衡。 估计器对于特征匹配更加健壮和有效。损失函数是

其中 是 范数的 *** 作符。

将通过对初始特征点应用全局变换来去除异常值。

对于低空航拍视频，帧之间的视图不完全因旋转不同，也不完全是平面场景，使用基本单应扭曲不可避免地会产生错位或视差错误。Julio Zaragoza等提出的APAP(As-Projective-As-Possible)图像拼接方法假设图像的细节满足不同的单应性，并使用位置相关单应性来扭曲每个像素，使用MDLT加权估计单应性方法，可以减轻未对准和视差误差的影响。

直接线性变换（DLT）是从一组噪声点匹配中估计单应性的基本方法。将单应矩阵向量化为向量后，只有两行线性无关，令 为第 个点匹配计算的 LHS 矩阵的前两行。对所有 垂直堆叠 到矩阵A。

那么优化目标是

整个图像只使用一个单应性重建 用于翘曲。

通过从加权问题估计单应性来改进MDLT方法，

权重 给更接近 的第 个点匹配给予更高的重要性。

为了防止估计中的数值问题，他们用一个在0和1之间的小值 来抵消权重。

计算每个像素的单应性是不必要的浪费。因此，我们将图像均匀地划分为多个单元格的网格，并将每个单元格的中心作为 。

将航拍视频帧全景拼接后，就可以得到大尺度场景的静态图像，掌握整体信息。

首先，我们使用单应性扭曲要拼接的两个帧，将像素映射到全景中的位置，依次拼接帧，然后融合两个扭曲的图像以避免在接缝线附近出现正面差异。通常，相邻帧的重叠率，在实际应用中，我们根据移动速度选择一定时间间隔的帧进行拼接，可以降低计算复杂度。对于较早的拼接图像，我们只选择最后一帧而不是整个拼接图像来提取特征点，也是为了计算速度。

对于对齐的帧，采用改进的5帧差分法检测运动目标。传统的3帧差分法可以检测出物体的基本轮廓，但轮廓总是不连续的，物体的重叠不易检测。根据帧差分法的理论，通过多帧差分的信息融合可以用于提取更完整的运动对象。5帧差分法可以部分克服3帧差分法的不足。对于相邻的 5 个帧 ，我们首先使用中值滤波器去除椒盐噪声，然后分别对中间帧和其他4帧进行差分运算。结果如下：

在对差分结果进行滤波后，我们引入Otsu动态阈值分割方法获得二值图像，然后使用“与” *** 作来抑制对象重叠问题。

然后我们在 和 上使用“或” *** 作以避免在对象轮廓中带来孔洞。

二值图像也可能有噪声和小孔，这可能会导致错误的对象边界框。最后，可以通过形态学腐蚀和膨胀来掩盖运动物体区域，去除噪声并填充孔洞，从而获得物体的位置和尺度。

运动物体检测步骤会检测到多个物体区域，我们只选择一个感兴趣的目标，使用基于相关滤波器的长期视觉跟踪算法对所选物体进行跟踪，以获得目标的位置和尺度。实时对象。跟踪器由检测 *** 作中检测到的边界框初始化。

基于相关滤波器的长期视觉跟踪算法在核相关滤波器跟踪器的框架下，集成了定向梯度直方图、颜色命名和强度，创建了鲁棒的对象外观模型。在随后的帧中，可以通过分别最大化平移滤波器和尺度滤波器的相关性分数来估计对象的新位置和尺度，并通过新的位置和尺度更新滤波器。同时，我们实时检测跟踪状态，并在跟踪失败的情况下使用在线CUR过滤器重新检测对象。该算法对于长期视觉跟踪的复杂场景具有鲁棒性。跟踪流程图如图1所示。

实验中的数据集选自DARPA提出的身份视频验证（VIVID）公共数据集中的航拍视频数据。这些数据集包括纹理较少和纹理良好的视频的背景。我们为我们的实验选择了两个典型的视频egtest01和egtest05。分辨率为640x480，帧率为30fps。实验在MATLAB R2016a 中实现，在 Intel Core i5-7300HQ、25GHz CPU、8GB RAM 计算机上。

我们首先提取待配准的2帧中的Harris特征，利用描述符的欧氏距离进行粗匹配，然后使用 估计方法来去除异常值。最终匹配结果如图2所示。

从图2可以看出，无论是在纹理较少还是纹理良好的背景场景中，特征点都是均匀分布的，并且点主要集中在背景中，这有助于获得准确的配准结果。

我们使用MDLT方法根据匹配的特征点获得2帧的变换，然后对图像进行扭曲，对参考图像和扭曲图像进行拼接和融合。最后，将帧依次拼接在一起，得到如图3所示的全景图。

帧配准后，我们使用5帧差分法得到差分结果，然后去除细方噪声，做形态学运算得到物体区域，最后可以得到运动物体的位置和尺度区域的边界框，如图4所示。

跟踪算法可以在完全遮挡或视野外的情况下更新对象的比例并重新检测丢失的对象。图 5显示了不同帧中的跟踪结果。

我们已经开发了一些基于小型无人机平台的航空侦察关键图像处理算法的实现。算法包括注册视频帧，使用帧差异进行运动物体检测，将帧拼接成全景图，跟踪检测到的物体之一。实验结果表明，所提出的方法在纹理较少的背景和纹理良好的背景场景中都可以很好地进行配准、拼接、检测，以及在复杂场景中进行跟踪。