1.Flume是啥？

Flume是一种分布式，大数据日志收集系统。可以定制数据源、数据终点、数据传输通道，过程中可以简单的对数据进行一些处理。而且可以搭配消息队列或者数据仓库使用，比如kafka、Hive。

2.架构

Flume很简单，主要有三个方面：Source、Channel、Sink。其中Source是源、Channel是通道、Sink是数据下沉，也就是数据目的地。基本上我们要围绕这仨进行操作。

3.安装

我是用虚拟机，实验的场合是CentOs7，需要有java环境。
1.在官方下载安装包： http://flume.apache.org/download.html
2.解压至目录：/opt/soft/ (自行选择后续不提)
3.在 /etc/profile 里配置好flume的环境变量(和配Java或者Hadoop啥的差不多)。
4.执行source /etc/profile
5.进入到conf目录下，有一个 flume-env.sh.template 文件，修改一下内容

export JAVA_HOME=你java的路径

保存，并改名把后面的template去掉。
这个时候尝试一下 flume-ng version
如果有版本提示，则安装完成。如果没有，检查环境变量。实在不行，去flume的bin目录下用flume-ng也可以！

4.用法

其实Flume支持的用法有很多！这里从最基础的开始。
Flume是靠配置文件启动的，我们可以打开 flume-conf.properties.template 文件看一下:

# The configuration file needs to define the sources, 
# the channels and the sinks.
# Sources, channels and sinks are defined per agent, 
# in this case called 'agent'

agent.sources = seqGenSrc
agent.channels = memoryChannel
agent.sinks = loggerSink

# For each one of the sources, the type is defined
agent.sources.seqGenSrc.type = seq

# The channel can be defined as follows.
agent.sources.seqGenSrc.channels = memoryChannel

# Each sink's type must be defined
agent.sinks.loggerSink.type = logger

#Specify the channel the sink should use
agent.sinks.loggerSink.channel = memoryChannel

# Each channel's type is defined.
agent.channels.memoryChannel.type = memory

# Other config values specific to each type of channel(sink or source)
# can be defined as well
# In this case, it specifies the capacity of the memory channel
agent.channels.memoryChannel.capacity = 100

里面密密麻麻的，去掉不重要的注释，我们只拆开慢慢的边改边说：
首先这里面有一个 agent，如他的名字，他是代理，我们每创建一个新的配置，就明确一个新的代理，比如这里改成a1，代理主要配置三个属性：sources、channel、sinks。
前三行：

a1.sources=r1
a1.channels=c1
a1.sinks=k1

这三个后面可以自己定义名字，选择比较简单容易记的就可以，这里分别命名为r1、c1、k1
紧接着就是对source进行定义：
souce的配置主要是由type属性确定的，模板里没有给出，这里可以先简单展示一个avro。

a1.sources.r1.type=avro
a1.sources.r1.bind=你的ip地址
a1.sources.r1.port=你定义个端口号

这里就是用来avro类型的数据源。后续我们可以通过avro客户端来发消息，从而测试。

忽略一行我们继续看sinks：
这里我们简单改写。

a1.sinks.k1.type=logger

同理，这里type也有很多，这选择最简单的logger来展示，即直接打印到控制台。

忽略一行继续看channel：

a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity = 100

channel是通道，默认最简单的方式是直接使用内存存储并传输。简单解释一下，type是选择类型为内存。capacity是默认通道里最大可以存储的event数量，trasactionCapacity是每次最多可以从source中送往sink的event数量。

最后不要忘记！！！把source和sink绑定到channel上

a1.sources.r1.channels= c1
a1.sinks.k1.channels= c1

最后是长这样的：

#定义名称
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#描述source
a1.sources.r1.type=avro
a1.sources.r1.bind=你的ip地址
a1.sources.r1.port=你定义个端口号

#定义sink
a1.sinks.k1.type=logger

#定义channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity = 100

#source和sink绑定到channel
a1.sources.r1.channels= c1
a1.sinks.k1.channels= c1

这样，我们的第一个配置文件就配置好了，可以改个名，比如叫他 example.conf ，现在来使用它！！

我们可以来到bin目录下，执行指令开启flume，比如：

flume-ng agent -c ../conf/ -f ../conf/example.conf -n a1 -Dflume.root.logger=INFO,console

指令后面的选项很多，解释一下

• 首先指令分四个：agent是启动一个flume代理、help是展示help目录、avro-client是运行一个avro客户端、version是看版本。
• -c 是指定配置文件的目录，可以找log4j.properties记录flume的日志。
• -f 是指定flume使用哪个配置文件。
• -n是agent代理的名称，这个是必填项！

这样就输出到控制台了，如果想后台启动可以执行：

nohup flume-ng agent -c ../conf/ -f ../conf/example.conf -n a1 -Dflume.root.logger=INFO,console&

然后根据nohup查看。

执行 之后可以查看一下，如果没有报错可以调试一下，主要就是通过avro客户端发消息过去。比如我们创建一个文件：
/opt/soft/apache-flume-1.8.0-bin/test_file/test.log
里面写上hello flume然后保存。

用avro客户端发消息：

flume-ng avro-client -c . -H 你设置的ip地址 -p 你设置的端口号 -F /opt/soft/apache-flume-1.8.0-bin/test_file/test.log

发送之后可以看控制台，后台打印的去看生成的nohup.out。可以发现hello flume已经被打印出来了。

我们可以拷贝一个配置文件，修改一下sink，让它不打印在控制台，而是生成文件：

#定义名称
a1.sources=r1
a1.channels=c1
a1.sinks=k1

#描述source
a1.sources.r1.type=avro
a1.sources.r1.bind=你的ip地址
a1.sources.r1.port=你定义个端口号

#定义sink
a1.sinks.k1.type=file_roll
a1.sinks.k1.sink.directory=/opt/soft/apache-flume-1.8.0-bin/collect


#定义channel
a1.channels.c1.type=memory
a1.channels.c1.capacity=1000
a1.channels.c1.transactionCapacity = 100

#source和sink绑定到channel
a1.sources.r1.channels= c1
a1.sinks.k1.channels= c1

这里把sink的type改成了file_roll
然后加上了一个文件夹，地址可以自定义。
这个我们在使用的时候会发现有很多文件，每30秒就多一个文件，就算不创建日志文件也会出现！所以这里我们需要设置一个参数:

a1.sinks.k1.rollInterval=0

由于是自己调试，所以这样会更清晰一些，官方文档的解释是，每30秒生成一个文件去记录，如果我们设置为0，则不会分隔文件，接受的会全部记录在同一个文件中。