多光谱数据预处理

（一）多光谱图像的去噪声处理

实际上，噪声是一种高频信号，是以其灰度级与周围像元明显不同造成。不同图像产生噪声的强度及频率不同，因此，不可能有一种适合于所有图像的噪声消除算法。为此，我们选择了新疆阿尔金山地区一景有噪声的 TM数据，并设计了专门的程序来检测消除斑点噪声。具体算法是将一个像元的灰度值与周围像元进行比较，差值明显高于周围邻接像元，该像元就被定义为噪声，它的灰度值用邻近像元灰度值来替代或取周围与它距离最小的数个像元的算术平均值，且这数个像元灰度值不存在灰度突变。用这种方法可以消除单像元的孤立噪声点，且不会改变图像的信息量和清晰度（彩图1-1b）。对于面积分布较大的斑点噪声处理，可选择现有的几种主要方法进行，但利弊不同。其中，采用低通滤波可以有地效消除噪声，但同时也减少了其他有用的高频信息，为此对低通图像再进行高频滤波可以恢复部分高频信息。使用常规图像处理软件中的自适应滤波方法，如 Frost自适应滤波（彩图1-1c）、Lee自适应滤波、Gamma Map滤波等也有一定的效果，但图像的清晰度和信息量都有不同程度的降低。

（二）多光谱图像去条带处理

在TM图像上，条带的主要表现形式为：①图像数据行有若干相邻像元及整行丢失，图像上呈现白色条带。我们消除条带的具体做法是用“整行替代”算法，即用相邻行直接替代或用相邻两行的算术平均值去替代条带行（彩图1-2b）；②图像数据行有若干相邻像元及整行与周围行明显不同，其消除条带做法除了用“整行替代”的方法去消除之外，还可以采利用傅里叶变换提取水平条带，如在阿尔金山干旱裸露地区的实验中也取得了一定的效果（彩图1-2c）。具体方法是建立分解图像的傅里叶谱，穿过傅氏谱的垂直线表示水平条带，去掉这种垂直分量，然后再进行逆变换就可消除条带。

Ubtuntu 1804,  ISCE 232

使用ISCE进行Stamps 数据准备，数据准备命令如下：

stackSentinelpy -s /tmp/isce/sgx1/data -d /tmp/isce/sgx1/dem/demLat_N27_N30_Lon_E102_E105dem -b '2794 2809 1033 1035' -a /tmp/isce/sgx1/auxcal -o /tmp/isce/sgx1/orbits -m 20170904 -n 1 -C geometry -c all

命令的意思大概是，使用名为 demLat_N27_N30_Lon_E102_E105dem 的DEM数据 ， 进行范围为 '2794 2809 1033 1035' 的数据处理；处理条带1（-n 1）；使用geometry配准方式（-C geometry）；选择全部干涉对组合条件，也就是穷举全部干涉对（-c all）进行干涉处理。

命令结束后会在运行目录生成一个run_files的文件夹，里面有处理步骤，逐个执行，就可以进行数据预处理。

run_files文件夹下的文件如下图所示：

因为用类似的流程，已经处理过一些地方的数据，没有任何问题，但这次发现处理到第三步的时候报错（类似：no such file or directory geom_master/IW1 ），打开文件夹发现geom_master/IW1下文件夹为空，说明上面的步骤没有生成有效的文件。

其实，在做第一步的时候，就报错了，但是ISCE并没有停止处理，错误在控制台一闪而过，让人误以为没有问题。

（1）软件运行环境排查

因为这次处理，使用的是新计算机环境，怀疑软件配置存在问题，使用老计算机，还是报同样的错误，所以排除软件环境问题。

（2）数据排查

涉及到geom（地理编码的问题），大概率和DEM有关，因此查看DEM文件大小，打开DEM查看DEM范围均没有问题。

（3）单步执行排查

上面排查均未定位问题，所以就单步执行，看到底哪一步报错，首先打开run_files/run_1_unpack_slc_topo_master文件，可以看到里面由数行命令构成，如下图

把每行命令复制到控制台，逐行执行，发现第一行就报错了，提示找不到‘/tmp/isce/sgx/dem/demLat_N27_N30_Lon_E102_E105demvrt’这个文件。

这里终于明白问题出在哪里了，之前我处理数据的文件夹命名为sgx，后来重新处理时，建立新的文件夹叫做sgx1，DEM相关的全部文件，都是从原文件夹复制过来的。

ISCE所需DEM文件有3个文件组成，如下图

其中，demLat_N27_N30_Lon_E102_E105dem 是数据文件，demLat_N27_N30_Lon_E102_E105demvrt和demLat_N27_N30_Lon_E102_E105demxml文件是描述文件，可以用文本的方式打开。

逐个检查描述文件后，发现demLat_N27_N30_Lon_E102_E105demxml内部字段，记录的是之前生成DEM时的路径，如下图

所以，修改为现在所用的路径，就解决问题了。

（1）ISCE某些错误不会导致程序停止，但是文件处理不完整，调试需要单步排查；

（2）ISCE拼接DEM后，如果更换路径，可能会导致DEM无法使用，需要同步更改配置文件，或者使用dempy脚本重新拼接一遍

欢迎大家加入qq群：792912665  交流开源GIS/RS软件使用心得。

1可视化分析

大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受，就如同看图说话一样简单明了。

2 数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计 学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

3 预测性分析大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

4 语义引擎

非结构化数据的多元化给数据分析带来新的挑战，我们需要一套工具系统的去分析，提炼数据。语义引擎需要设计到有足够的人工智能以足以从数据中主动地提取信息。

5数据质量和数据管理。 大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。

大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

这是matlab里面fft的例子,看懂你就会了

Fs = 1000; % Sampling frequency

T = 1/Fs; % Sample time

L = 1000; % Length of signal

t = (0:L-1)T; % Time vector

% Sum of a 50 Hz sinusoid and a 120 Hz sinusoid

x = 07sin(2pi50t) + sin(2pi120t);

y = x + 2randn(size(t)); % Sinusoids plus noise

plot(Fst(1:50),y(1:50))

title('Signal Corrupted with Zero-Mean Random Noise')

xlabel('time (milliseconds)')

NFFT = 2^nextpow2(L); % Next power of 2 from length of y

Y = fft(y,NFFT)/L;

f = Fs/2linspace(0,1,NFFT/2+1);

% Plot single-sided amplitude spectrum

plot(f,2abs(Y(1:NFFT/2+1)))

title('Single-Sided Amplitude Spectrum of y(t)')

xlabel('Frequency (Hz)')

ylabel('|Y(f)|')

MapReduce数据预处理，从数据进入到处理程序到处理完成后输出到存储中，整个过程分为如下 5 个阶段：

Input Split 或 Read 数据阶段

Input Split，是从数据分片出发，把数据输入到处理程序中。Read 则是从处理程序出发反向来看，把数据从文件中读取到处理程序中来。这个阶段表达的是我们数据从哪里来。这是整个过程的开始。

Map阶段

当数据输入进来以后，我们进行的是 map 阶段的处理。例如对一行的单词进行分割，然后每个单词进行计数为 1 进行输出。

Shuffle 阶段

Shuffle 阶段是整个 MapReduce 的核心，介于 Map 阶段跟 Reduce 阶段之间。

Reduce 阶段

数据经过 Map 阶段处理，数据再经过 Shuffle 阶段，最后到 Reduce ，相同的 key 值的数据会到同一个 Reduce 任务中进行最后的汇总。

Output 阶段

这个阶段的事情就是将 Reduce 阶段计算好的结果，存储到某个地方去，这是整个过程的结束。

以上就是关于多光谱数据预处理全部的内容，包括:多光谱数据预处理、记录ISCE数据预处理中的一个坑、如何进行大数据分析及处理等相关内容解答，如果想了解更多相关内容，可以关注我们，你们的支持是我们更新的动力！