Flume系列2-Flume 入门

安装地址:

安装部署:

本地使用的是CDH 6.3.1 版本，已安樱缺装Flume，此处略过安装步骤

使用 Flume 监听一个端口，收集该端口数据，并打印到控制台。

安装netcat并检查端口是否被占用

在Flume的安装目录下创建conf/lib目录，并创建flume的配置文件

添加内容如下：

第一种写法:

第二种写法：

参数说明：

--conf/-c：表示配置文件存储在 conf/目录

--name/-n：表示给 agent 起名为 a1

--conf-file/-f：flume 本次启动读取的配置文件是在 job 文件夹下的 flume-telnet.conf

文件。

-Dflume.root.logger=INFO,console ：-D 表示 flume 运行时动态修改 flume.root.logger

参数属性值，并将控制台日志打印级别设置为 INFO 级别。日志级别包括:log、info、warn、

error。

通过nc输入的数据，flume监听页面都接受到了，并且输出到了控制台

实时监控 Hive 日志，并上传到 HDFS 中

注：要想读取 Linux 系统中的文件，就得按照 Linux 命令的规则执行命令。由于 Hive 日志在 Linux 系统中所以读取文件的类型选择：exec 即 execute 执行的意思。表示执行Linux 命令来读取文件。

添加如下内容:

注意： 对于所有与时间相关的转义序列，Event Header 中必须存在以 “timestamp”的key（除非 hdfs.useLocalTimeStamp 设置为 true，此方法会使用 TimestampInterceptor 自动添加 timestamp）。

a3.sinks.k3.hdfs.useLocalTimeStamp = true

从日志可以看到文件已经上传到HDFS：

在HDFS上查看:

1小时自动生产一个目录

1分钟自动生产一仿早个文件

tmp结尾的文件为正在写入的文件，时间到了后就会自动重命名

使用 Flume 监脊大辩听整个目录的文件，并上传至 HDFS

添加如下内容：

flume日志:

从日志输出可以看到原目录的 c.txt直接被修改为 c.txt.COMPLETED,然后c.txt上传到一个另外名字的文件，而且从输出可以看到，多个文件的内容会合并上传到一个hdfs上的文件。

hdfs上看输出:

同样是1分钟一个文件，但是有写入才会创建，如果没有写入是不行的。

  Exec source 适用于监控一个实时追加的文件，不能实现断点续传；Spooldir Source 适合用于同步新文件，但不适合对实时追加日志的文件进行监听并同步；而 Taildir Source 适合用于监听多个实时追加的文件，并且能够实现断点续传。

案例需求:

使用 Flume 监听整个目录的实时追加文件，并上传至 HDFS 。

添加如下内容:

flume控制台输出:

HDFS查看输出文件:

Taildir Source 维护了一个 json 格式的 position File，其会定期的往 position File中更新每个文件读取到的最新的位置，因此能够实现断点续传

注：

Linux 中储存文件元数据的区域就叫做 inode，每个 inode 都有一个号码， *** 作系统用 inode 号码来识别不同的文件，Unix/Linux 系统内部不使用文件名，而使用 inode 号码来识别文件。

改名后inode不会发生变化，这点要注意

安装步骤：1.下载ubuntu11.04,网上百度搜索都有，可以下载网易或者搜狐的镜像。2.下载xp系统引导文件，即grub4dos-0.4.4.zip。以上两步是需要准备的文件3.将grub4dos-0.4.4.zip解压，将解压出的文件grldr，grldr.mbr，grldr.exe，menu.lst 放到系统盘C盘根目录下（如果系统盘是C盘）4.将镜像文件也放到系统盘C盘的根目录下，并将镜像文件中casper文件夹下的initrd.lz和vmlinuz拷贝到C盘根目录下。5,修改boot.ini文件，点击“启动和故障恢复”的“设置”，然后点“编辑”，在d出的文本文件最后一行添加帆液简 c:\grldr=”Ubuntu Install”6.修改menu.lst文件，在文件末尾添加以下内容title Install Ubuntu12.04root (hd0,0)kernel (hd0,0)/vmlinuz boot=casper iso-scan/filename=/ubuntu-11.04-desktop-i386.iso locale=zh_CN.UTF-8initrd (hd0,0)/initrd.lz7.重启电脑，此时进入系统时，会发现多了一个Ubuntu Install的选项，选择进入。8.进入后，会发现有一个是install ubuntu的选项态裤（一般是最后一个），选择进入。9.此时进入到ubuntu的界面，alt+F2 , 输入命令：gnome-terminate 即找到终端，然后输入sudo umount -l /isodevice，关闭终端。10.双击“安装 Ubuntu 11.04 ”开始正式安装。11.在安装过程中，有一步是选择安装的方式：即电脑是双系统，还是就安装ubuntu一个系统，或者其他，此刻我选择的是其他。开始分配磁盘空间，我电脑本身有四个盘，C盘是系统，我准备把E盘安装ubuntu在分区之前就只有sda1、sda5、sda6、sda7，分别对应C、D、E、F盘，所以删除掉sda6对应的分区，然后在列表中选择“空闲空间”，然后点击下面的“添加”按钮，会d出下“创建新分区”窗口。我创建埋茄了以下4个分区： 1、引导分区: /boot 100M足够了（我这里给了512M） 2、系统分区: / 　装系统和软件，我这里给力20G的空间 3、交换分区: swap　类似windows的虚拟内存，一般分配物理内存的两倍，我给力1G的空间4、个人文件分区：/home　剩下的E盘空间都给它了12.设置用户名和密码.13.后面就是安装过程了，耐心等待就好，安装好后安装程序会提示重启系统还是先试用一下，选择重启就可以了，重启后会有启动界面，选择需要登录的系统就可以了。

---