简述离散信源，连续信源的最大熵定理。

离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大。

最大熵原理是一种选择随机变量统计特性最符合客观情况的准则，也称为最大信息原理。随机量的概率分布是很难测定的，一般只能测得其各种均值（如数学期望、方差等）或已知某些限定条件下的值（如峰值、取值个数等），符合测得这些值的分布可有多种、以至无穷多种，通常，其中有一种绝衫晌分布的熵最大。

扩展资料

最大熵原理是在1957 年由E.T.Jaynes 提出的，其主要思想是，在只掌握关于未知分布的部分知识时，应该选取符合这些知识但熵值最大的概率分布塌指。

因为在这种情况下，符合已知知识的概率分布可能不止一个。我们知道，熵定义的实际上是一个随机变量的不确定性，熵最大的时候，说明随并锋机变量最不确定，换句话说，也就是随机变量最随机，对其行为做准确预测最困难。

从这个意义上讲，那么最大熵原理的实质就是，在已知部分知识的前提下，关于未知分布最合理的推断就是符合已知知识最不确定或最随机的推断，这是我们可以作出的不偏不倚的选择，任何其它的选择都意味着我们增加了其它的约束和假设，这些约束和假设根据我们掌握的信息无法作出。

摘要：在MATLAB上，用傅立叶高中变换、自相关函数法以及最大熵估计法对一组离散的时间序列进行谱分析，并作出对应的频谱图，进行比较。关键词：离散时间序列，MATLAB，傅立叶变换，自相关函数法，最大熵估计（MESE） 1．概述：利用傅立叶变换，自相关函数法以及最大熵估计法对离散数据进行谱分析，找到数据的相关特性，并比较几种方法的特点。 2．谱分析原理： 时间序列是以时间为参考基准进行记录的，从直观图上无法获得数据内部的基本特性，通过谱分析的方法，将时域的数据转换到频域上去，通过分析频域的特征来获取数据的特性，从而达到分析数据的目的。 可以用傅立叶变换、自相关函数法、最大熵估计三种方法，将时域的数据转换到频域上进行分析。 利用MATLAB的相关工具来实现。 3．MATLAB实现：3.1数据说明：程序中所用的数据是由xn=A1*sin(f1*2*pi*n)+A2*sin(f2*2*pi*n)+e （e为白噪声）来产生的，其中：n=0:0.001:1A1=4A2=4f1=25f2=503.2MATLAB计算源程序 1）创建.M文件，对离散时间序列用傅立叶变换和自相关法进行谱分析，代码如下： function FXi(data) figure(1)Fs=1000subplot(3,1,1)t=0:1/Fs:1plot(1000*t(1:50),data(1:50))xlabel('time(mm)')title('一元时间序列直观图') Y=fft(data,512)Pyy2=Y.*conj(Y)/512f2=1000*(0:256)/512subplot(3,1,2)plot(f2,Pyy2(1:257))title('离散数据的傅立叶频谱图')xlabel('频率（Hz）') Fs=1000NFFT=1024Cx=xcorr(data,'unbiased')Cxk=fft(Cx,NFFT)Pxx=abs(Cxk)t=0:round(NFFT/2-1)k=t*Fs/NFFTP=10*log10(Pxx(t+1))subplot(3,1,3)plot(k,P)title('谱估计的自相关函数法')xlabel('频率（Hz）') 2）创悔庆建.M文件，用最大熵法（MESE）对数据进行谱分析，代码如下： function MESE(data)figure(2)Fs=500NFFT=1024pyulear(data,20,NFFT,Fs)3)载入数据（要具有一定的长度），则输出结果为：4．结果与讨论： 由三种方法得到的频谱图表达的信息是类似的，明确的指出了离散数据中的信号特点，可以从谱分析图中得到数据的周期，与数戚前山据的原函数拟和的很好。但从图形的直观效果来看，用傅立叶转换的方法得出来的谱分析图对于数据特性的表达更明确，直观。

已经调旅模试过了信团简息熵计算源代码函数拆或缓源程序CalEntropy.mInformationShannonEntropycalculationjma@hebut.edu,22/08/2007array:DiscreteProbabilitiesSetH:OutputShannonEntropyfunctionH=CalEntropy(array)Vectornumb。

---