核密度估计Kernel Density Estimation(KDE)概述 密度估计的问题

https://blogcsdnnet/pipisorry/article/details/53635895

由给定样本集合求解随机变量的分布密度函数问题是概率统计学的基本问题之一。解决这一问题的方法包括参数估计和非参数估计。

参数估计又可分为参数回归分析和参数判别分析。在参数回归分析中，人们假定数据分布符合某种特定的性态，如线性、可化线性或指数性态等，然后在目标函数族中寻找特定的解，即确定回归模型中的未知参数。在参数判别分析中，人们需要假定作为判别依据的、随机取值的数据样本在各个可能的类别中都服从特定的分布。经验和理论说明，参数模型的这种基本假定与实际的物理模型之间常常存在较大的差距，这些方法并非总能取得令人满意的结果。

[参数估计：最大似然估计MLE][参数估计：文本分析的参数估计方法]

由于上述缺陷，Rosenblatt和Parzen提出了非参数估计方法，即核密度估计方法。由于核密度估计方法不利用有关数据分布的先验知识，对数据分布不附加任何假定，是一种从数据样本本身出发研究数据分布特征的方法，因而，在统计学理论和应用领域均受到高度的重视。

核密度估计（kernel density estimation）是在概率论中用来估计未知的密度函数，属于非参数检验方法之一，由Rosenblatt (1955)和Emanuel Parzen(1962)提出，又名Parzen窗（Parzen window）。Ruppert和Cline基于数据集密度函数聚类算法提出修订的核密度估计方法。

核密度估计在估计边界区域的时候会出现边界效应。

[https://zhwikipediaorg/zh-hans/核密度估计]

因此，一句话概括，核密度估计Kernel Density Estimation(KDE)是在概率论中用来估计未知的密度函数，属于非参数检验方法之一。

在密度函数估计中有一种方法是被广泛应用的——直方图。如下图中的第一和第二幅图（名为Histogram和Histogram, bins shifted）。直方图的特点是简单易懂，但缺点在于以下三个方面：密度函数是不平滑的；密度函数受子区间（即每个直方体）宽度影响很大，同样的原始数据如果取不同的子区间范围，那么展示的结果可能是完全不同的。如下图中的前两个图，第二个图只是在第一个图的基础上，划分区间增加了075，但展现出的密度函数却看起来差异很大；直方图最多只能展示2维数据，如果维度更多则无法有效展示。

核密度估计有多种内核，图3（Tophat Kernl Density）为不平滑内核，图4（Gaussian Kernel Density,bandwidth=075）为平滑内核。在很多情况下，平滑内核（如高斯核密度估计，Gaussian Kernel Density）使用场景较多。

虽然采用不同的核函数都可以获得一致性的结论（整体趋势和密度分布规律性基本一致），但核密度函数也不是完美的。除了核算法的选择外，带宽（bandwidth）也会影响密度估计，过大或过小的带宽值都会影响估计结果。如上图中的最后三个图，名为Gaussian Kernel Density,bandwidth=075、Gaussian Kernel Density,bandwidth=025、Gaussian Kernel Density,bandwidth=055

股票、金融等风险预测：在单变量核密度估计的基础上，可以建立风险价值的预测模型。通过对核密度估计变异系数的加权处理，可以建立不同的风险价值的预测模型。

密度估计中应用较多的算法是高斯混合模型以及基于近邻的核密度估计。高斯混合核密度估计模型更多会在聚类场景中应用。

[核密度估计Kernel Density Estimation(KDE)]

核密度分析可用于测量建筑密度、获取犯罪情况报告，以及发现对城镇或野生动物栖息地造成影响的道路或公共设施管线。可使用 population 字段根据要素的重要程度赋予某些要素比其他要素更大的权重，该字段还允许使用一个点表示多个观察对象。例如，一个地址可以表示一栋六单元的公寓，或者在确定总体犯罪率时可赋予某些罪行比其他罪行更大的权重。对于线要素，分车道高速公路可能比狭窄的土路产生更大的影响，高压线要比标准电线杆产生更大的影响。[ArcGIS中的介绍]

热力图大家一定听说过，其实热力图就是核密度估计。

总而言之，核密度就是用来估计密度的，如果你有一系列空间点数据，那么核密度估计往往是比较好的可视化方法

皮皮blog

核密度估计

所谓核密度估计，就是采用平滑的峰值函数(“核”)来拟合观察到的数据点，从而对真实的概率分布曲线进行模拟。

核密度估计（Kernel density estimation），是一种用于估计概率密度函数的非参数方法，为独立同分布F的n个样本点，设其概率密度函数为f，核密度估计为以下：

K()为核函数（非负、积分为1，符合概率密度性质，并且均值为0）。有很多种核函数， uniform,triangular, biweight, triweight, Epanechnikov , normal 等。

h>0为一个平滑参数，称作带宽(bandwidth)，也看到有人叫窗口。

核密度函数的原理比较简单，在我们知道某一事物的概率分布的情况下，如果某一个数在观察中出现了，我们可以认为这个数的概率密度很大，和这个数比较近的数的概率密度也会比较大，而那些离这个数远的数的概率密度会比较小。

基于这种想法，针对观察中的第一个数，我们可以用K去拟合我们想象中的那个远小近大概率密度。对每一个观察数拟合出的多个概率密度分布函数，取平均。如果某些数是比较重要的，则可以取加权平均。需要说明的一点是，核密度的估计并不是找到真正的分布函数。

Note: 核密度估计其实就是通过核函数（如高斯）将每个数据点的数据+带宽当作核函数的参数，得到N个核函数，再线性叠加就形成了核密度的估计函数，归一化后就是核密度概率密度函数了。

以下面3个数据点的一维数据集为例：5, 10, 15

绘制成直方图是这样的：

KDE核函数k()

理论上，所有平滑的峰值函数均可作为KDE的核函数来使用，只要对归一化后的KDE而言(描绘在图上的是数据点出现的概率值)，该函数曲线下方的面积和等于1即可。

只有一个数据点时，单个波峰下方的面积为1，存在多个数据点时，所有波峰下方的面积之和为1。概而言之，函数曲线需囊括所有可能出现的数据值的情况。

常用的核函数有：矩形、Epanechnikov曲线、高斯曲线等。这些函数存在共同的特点：在数据点处为波峰；曲线下方面积为1。

单个数据点（只有一个数据时）所对应的这些核函数

[ 概率论：高斯/正态分布  ]

sklearn中实现的核函数

wekipedia上各种核函数的图形

均匀核函数 k(x)=1/2,-1≤x≤1 加入带宽h后： kh(x)=1/(2h),-h≤x≤h

三角核函数 k(x)=1-|x|,-1≤x≤1 加入带宽h后： kh(x)=(h-|x|)/h^2,-h≤x≤h

伽马核函数 kxi(x)=[x^(α-1)exp{-xα/xi}]/[(xi/α)^αΓ(α)]

高斯核函数K(x,xc)=exp(-||x-xc||^2/(2σ)^2)其中xc为核函数中心,σ为函数的宽度参数

[https://zhwikipediaorg/zh-hans/%E6%A0%B8%E5%AF%86%E5%BA%A6%E4%BC%B0%E8%AE%A1]

不同内核的比较

Epanechnikov 内核在均方误差意义下是最优的，效率损失也很小。

由于高斯内核方便的数学性质，也经常使用 K(x)= ϕ(x)，ϕ(x)为标准正态概率密度函数。

对于多个数据点的KDE曲线：由于相邻波峰之间会发生波形合成，因此最终所形成的曲线形状与选择的核函数关系并不密切。考虑到函数在波形合成计算上的易用性，一般使用高斯曲线(正态分布曲线)作为KDE的核函数。

KDE算法：索引树

lz发现sklearn算法实现中有一个参数是算法项，如algorithm='auto'，想了一下是为了加速。

KDE的概率密度函数公式得到后

有了上述公式之后，只需遍历输出图像的每一个点，计算其核密度估计值即可。

但是稍微想一下就发现这个程序太冗余了，如果有很多点（n很大），并且输出图像很大，那么每一个像素都需要进行n个累积的加法运算，并且大部分都是+0（因为一般来说，一个点附近的点不会很多，远远小于n，其余大部分点与这个像素的距离都大于r），这样就造成了冗余计算。

解决方案当然也非常简单，就是建立一个索引，然后在计算某个像素的核密度估计值时利用索引搜索出附近的点，然后累积这些点的核函数即可。

如Dotspatial自带了多种空间索引，有R树，R树，KD树等；sklearn自带了kd tree, ball tree等等。

如果只需找出附近的点，对索引要求不高，任意一个索引都能使用。

[空间点云核密度估计算法的实现-以Dotspatial为基础GIS库]

你好，很高兴为你解答:

多值函数为一数学名词，是一种二元关系，其中每一个输入都至少会对应一个输出，而且有些会对应不止一个输出。

多值函数是一种函数（广义），多值函数是指，在X中有至少一个元素x与集合Y中的至少两个元素y满足x与y是f相关的，且对X中的任一元素x都有集合Y中的元素y满足x与y是f相关的。即，与Y中的至少两个输出值按照对应法则f对应的输入值在X中至少有一个，且与Y中的所有输出值都不按照对应法则f对应的输入值在X中一个都没有。

相关问题

1、函数是指实数集对实数集的映射，而从映射的角度出发是定义域中的每个元素只能有一个像。多值函数的一个X可以有两个Y与之对应，这是否与函数的定义相违背？

如果定义函数是映射的一种，那么从映射的定义上来看，多值函数不是函数。如果定义函数是一种对应法则（许多课本亦如此定义），那么毫无疑问，多值函数是函数的一类。

所以多值函数是不是函数取决于对于函数的定义。可以说狭义的函数特指单值函数，但是广义的函数既包含单值函数，也包含多值函数。

你认为的矛盾是已经从某种意义上把多值函数归为函数范畴了，如果你把术语函数换成对应来就好理解，对应和多值对应从字面意思就能看出他们所指并不一样，所以并不存在矛不矛盾的话题。就相当于解释什么是‘维’‘一维’‘二维’‘多维’一样。

2、多值函数是不是函数

问题出在函数的定义里，在早些年出版的教材里，函数的定义里没有“唯一”两个字，因此函数就有单值函数与多值函数的区分，按那种定义，多值函数是函数；近些年出版的教材里，函数的定义里有“唯一”两字，因此函数都是单值的，从这个意义上说，多值函数就不是函数了。

参考代码：

% 生成测试数据

X = rand(100,1);

Y = rand(100,1);

k = 2;

a = 15;

b = 25;

Z = k(X^a)(Y^b);

% 数据加入噪声

Z = Z + randn(size(Z))01;

% 数据拟合

f=inline('c(1)x(:,1)^c(2)x(:,2)^c(3)','c','x');

c=lsqcurvefit(f,[1 1 1],[X Y],Z)

% 绘图

[x,y] = meshgrid(linspace(min(X),max(X),20),linspace(min(Y),max(Y),20));

z = reshape(f(c, [x(:), y(:)]), size(x));

clf

a = 05;

mesh(x,y,z,'FaceAlpha',a,'EdgeAlpha',a);

hold on

plot3(X,Y,Z,'r')

view(15,5)

xlabel('x'); ylabel('y'); zlabel('z');

拟合结果：

c =

    19917    13921    24509

与真实模型的参数[2 15 25]吻合。

 

Nstd是用来设置添加高斯白噪声的标准差的，用以消去原信号中的噪声，Nstd要根据原信号中的噪声干扰大小具体情况而定，高斯白噪声的标准差设置一般为001~04,具体设置没有一个确定的公式，根据信号来确定；NE是用来设置添加噪声的次数，NE通常取50或100。

知道那个矩阵的全部数值，只要那个值的话，用两次max就好

楼下说的max(max())就是了

要位置就用argmax

要是不知道具体数值，是个二元连续函数峰值的话，就涉及优化算法不只是程序的事了

20191217

数据可视化（data visualization）技术指的是运用计算机图形学和图像处理技术，将数据转换为图形或图像在屏幕上显示出来，并进行交互处理的技术。它涉及计算机图形学、图像处理、计算机辅助设计、计算机视觉及人机交互技术等多个领域。

学习目标:

（1）熟悉并掌握简单二维图形显示与绘图函数；

（2）熟悉图形显示的特征控制语句，包括颜色控制、线型控制、线条粗细控制、坐标控制等；

（3）了解其他二维图形显示函数

在 MATLAB中绘制二维图形，通常包括以下步骤:

（1）准备数据；

（2）设置当前绘图区；

（3）绘制图形；

（4）设置图形中曲线和标记点格式；

（5）设置坐标轴和网格线属性；

（6）标注图形；

（7）保存和导出图形。

例3-1下面通过示例来演示绘图步骤:在同一坐标轴上绘制cos（x）、cos（2x）和cos（3x）这三条曲线

程序命令如下：

运行结果如图3-1所示。

plot函数是最基本、最常用的绘图函数，用于绘制线性二维图。有多条曲线时，循环使用由坐标轴颜色顺序属性定义的颜色，以区别不同的曲线；之后在循环使用由坐标轴线型顺序属性定义的线型，以区别不同的曲线。它的多种语法格式如下：

（1）plot(Y):若 Y 是一维数组时，plot(Y)是把（i,X(i)）各点顺次连接起来，其中i的取值范围从1到length(X);若 Y 是普通的二维数组时，相当于对 Y 的每一列进行plot(Y(:,i))画线，并把所有的折线累叠绘制在当前坐标轴下。

(2) plot(X,Y):若X和Y都是一维数组时，功能和line(X,Y)类似；但plot函数中的X和Y也可以是一般的二维数组，这时候就是对X和Y的对应列画线。特别的，当X是一个向量，Y是一个在某一方面和X具有相同长度的二维数组时，plot(X,Y)则是对X和Y的每一行（或列）画线。

（3）plot(X1,Y1,X2,Y2,,Xn,Yn):表示对多组变量同时进行绘图，对于每一组变量，其意义同前所述。

（4）plot(X1,Y1,LineSpec,):其中LinSpec是一个指定曲线颜色、线型等特征的字符串。可以通过它来指定曲线的线型、颜色以及数据点的标记类型，如表3-1所示。这在突出显示原始数据点和个性化区分多组数据的时候是十分有用的。

例3-2 绘制矩阵的图形

程序命令如下：

例3-3利用line函数绘制cos函数图形

程序命令如下：

运行结果如图3-3所示。

例3-4画同心圆。

程序命令如下：

运行结果如图3-4所示。

例3-5利用plot函数绘制函数效果图，并对其进行线型设置。

程序命令如下：

运行结果如图3-5所示。

在 MATLAB中， figure函数用于创建一个新的图形对象。图形对象会在屏幕上单独的窗口中输出。

subplot函数用于生成与控制多个坐标轴把当前图形窗口分隔成几个矩形部分，不同的部分是按行方向以数字进行标号的。每一部分有一坐标轴，后面的图形输出于当前的部分中。 subplot函数的用法有以下几种

（1）h＝subplot（m，n，p）/subplot（mnp）:将 figure划分为mn块，在第p块创建坐标系，并返回它的句柄。当m、n、p＜10时，可以简化为 subplot（mnp）或者 subplotmnp。

subplot是将多个图画到同一个平面上的工具。其中，m表示是图排成m行，n表示图排成n列，也就是整个 figure中有n个图是排成一行的，一共m行，如果第一个数字是2就是表示2行图。p是指要把曲线画到 figure中哪个图上，如果是1表示是从左到右第一个位置。

（2）subplot（m，n，p，＇replace＇＇）:创建新坐标系来替换已存在的所指定的坐标系。

（3）subplot（m，n，P）:此时P为向量，表示将P中指定的小块合并成一个大块创建坐标系，P中指定的小块可以不连续，甚至不相连。

比如 subplot（2，3，［2 5］）表示将第2和5小块连成一个大块； subplot（2，3，［2 6］）由于2和6不连续也不相连，此时表示将第2、3、5和6四块连成一个大块，相当于 subplot（2，3，［2 3 5 6］）。

（4）subplot（h）:将坐标系h设为当前坐标系，相当于axes（h）

（5） subplot（＇Position＇，［left bottom width height］）在指定位置创建一个新坐标系，等效于axes（＇Position＇，［left bottom width height］）。

（6）subplot（， propl， valuel，prop2 ，value2，）:在创建坐标系时，同时设置相关属性。

（7）h＝ subplot():返回所创建坐标系的句柄。

例3-6画出参数方程的图形。 程序命令如下:

运行结果如3-6所示。

例 3-7利用subplot(m,n, P)函数对图形进行分割。

程序命令如下。

运行结果如图3-7所示。

运行结果如图3-8所示。