大数据应用日志采集之Scribe演示实例完全解析

时间:2022-02-09 16:44:31

大数据应用日志采集之Scribe演示实例完全解析

引子:

  Scribe是Facebook开源的日志收集系统,在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志,存储到一个*存储系统(可以是NFS,分布式文件系统等)上,以便于进行集中统计分析处理。它为日志的“分布式收集,统一处理”提供了一个可扩展的,高容错的方案。当*存储系统的网络或者机器出现故障时,scribe会将日志转存到本地或者另一个位置,当*存储系统恢复后,scribe会将转存的日志重新传输给*存储系统。其通常与Hadoop结合使用,scribe用于向HDFS中push日志,而Hadoop通过MapReduce作业进行定期处理。

  Scribe从各种数据源上收集数据,放到一个共享队列上,然后push到后端的*存储系统上。当*存储系统出现故障时,scribe可以暂时把日志写到本地文件中,待*存储系统恢复性能后,scribe把本地日志续传到*存储系统上。需要注意的是,各个数据源须通过thrift(由于采用了thrift,客户端可以采用各种语言编写向scribe传输数据(每条数据记录包含一个category和一个message)。可以在scribe配置用于监听端口的thrift线程数(默认为3)。在后端,scribe可以将不同category的数据存放到不同目录中,以便于进行分别处理。后端的日志存储方 式可以是各种各样的store,包括file(文件),buffer(双层存储,一个主储存,一个副存储),network(另一个scribe服务 器),bucket(包含多个store,通过hash的将数据存到不同store中),null(忽略数据),thriftfile(写到一个 Thrift TFileTransport文件中)和multi(把数据同时存放到不同store中)。

  本文通过3个实例程序,分别演示scribe后端存储为file、network和buffer时的操作方法和流程,演示示例程序位于scribe/examples目录,目录结构如下所示:[hadoop@hadoop1 examples]$ ls
example1.conf         example2client.conf  hdfs_example.conf  scribe_cat
example2central.conf  hdfs_example2.conf   README             scribe_ctrl

一、Example1:file

  #step_01:创建消息文件存放目录
    mkdir /tmp/scribetest
  #step_02:启动Scribe
    src/scribed examples/example1.conf
  #step_03:发送消息到scribe
    echo "hello world" | ./scribe_cat test
  #step_04:  验证消息记录
    cat /tmp/scribetest/test/test_current
  #step_05:  检查scribe状态
    ./scribe_ctrl status
  #step_06:  查看scribe计数
    ./scribe_ctrl counters
  #step_07:  停止scribe运行
    ./scribe_ctrl stop

二、Example2:Network

  #step_01:创建工作目录
  mkdir /tmp/scribetest2
  #step_02:启动中心scribe程序,服务端口1463,记录方式为file
  src/scribed examples/example2central.conf
  #step_03:启动中心client程序,服务端口1464,存储模式为Network,写入消息到中心scribe
  src/scribed examples/example2client.conf
  #step_04:发送消息到client scribe
  echo "test message" | ./scribe_cat -h localhost:1464 test2
  echo "this message will be ignored" | ./scribe_cat -h localhost:1464 ignore_me
  echo "123:this message will be bucketed" | ./scribe_cat -h localhost:1464 bucket_me

  #step_05:验证消息被中心scribe接收和记录到文件
  cat /tmp/scribetest/test2/test2_current
  #step_06:验证消息分组,不同category的数据存放到不同目录中
  cat /tmp/scribetest/bucket*/bucket_me_current

  #step_07:状态检查消息计数检查,如果管理命令不加参数默认为1643
  ./scribe_ctrl status 1463
  ./scribe_ctrl status 1464
  ./scribe_ctrl counters 1463
  ./scribe_ctrl counters 1464  
  #step_08:关闭服务进程
  ./scribe_ctrl stop 1463
  ./scribe_ctrl stop 1464

三、Example3:buffer

  #step_01:启动中心scribe,服务端口1463
  src/scribed examples/example2central.conf
  #step_02:启动客户端scribe,服务端口1464
  src/scribed examples/example2client.conf
  #step_03:发送消息到客户端scribe
  echo "test message 1" | ./scribe_cat -h localhost:1464 test3
  #step_04:验证消息是否接受,在中心scribe消息存储目录查找
  cat /tmp/scribetest/test3/test3_current
  #step_05:停止中心scribe服务,我们期待看到结果是缓存
  ./scribe_ctrl stop 1463
  #step_06:验证中心scribe运行状态
  ./scribe_ctrl status 1463

  #step_07:发送消息到客户端-此时消息期待结果是缓存
  echo "test message 2" | ./scribe_cat -h localhost:1464 test3
  #step_08:超时客户端scribe会有报警信息
  ./scribe_ctrl status 1464
  #step_09:重启中心scribe
  src/scribed examples/example2central.conf
  #step_10:验证scribe状态
  ./scribe_ctrl status 1463
  ./scribe_ctrl status 1464

  #step_10:验证中心scribe是否接收到缓存的消息
  cat /tmp/scribetest/test3/test3_current
  #step_11:关闭服务进程
  ./scribe_ctrl stop 1463
  ./scribe_ctrl stop 1464

四、工作流程

  通过以上实例,我们可以看到scribe核心的工作原理和处理流程,具体流程如下图所示:

大数据应用日志采集之Scribe演示实例完全解析

作者:张子良 
出处:http://www.cnblogs.com/hadoopdev 
本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

分类: 大数据