当前位置: 首页 > news >正文

岑溪网站建设今日短新闻20条

岑溪网站建设,今日短新闻20条,黄骅贴吧,精品课程网站建设flume 使用 exec 采集容器日志,转储磁盘 在该场景下,docker 服务为superset,flume 的sources 选择 exec , sinks选择 file roll 。 任务配置 具体配置文件如下: #simple.conf: A single-node Flume configuration#…

flume 使用 exec 采集容器日志,转储磁盘

在该场景下,docker 服务为superset,flume 的sources 选择 exec , sinks选择 file roll 。

任务配置

具体配置文件如下:

#simple.conf: A single-node Flume configuration# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1# Describe/configure the source
a1.sources.r1.type = exec
# exec source 监控命令是tail -f ,日志文件可随意指定,这里选择的是容器服务的日志文件
a1.sources.r1.command = tail -F /data/docker/containers/e511e3e4b3445efeb38fe822ac086dfc5ebb8bdc4a725dc6e2969ef2092c78ec/e511e3e4b3445efeb38fe822ac086dfc5ebb8bdc4a725dc6e2969ef2092c78ec-json.log# Describe the sink
a1.sinks.k1.type = file_roll
#指定文件转存储目录,可自建
a1.sinks.k1.sink.directory = /home/test/log
# one day roll once 一天滚动一次,为了防止转储日志文件过大,按天进行文件滚动
a1.sinks.k1.sink.rollInterval = 86400
#a1.sinks.k1.sink.pathManager = superset
# 定义日志文件后缀
a1.sinks.k1.sink.pathManager.extension = log
# 定义日志文件前缀
a1.sinks.k1.sink.pathManager.prefix = superset-# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

其中,关键配置已注释,其中file_roll sinks 中 type、sink.directory是必配,其他都是选配,可参考官网文档
https://flume.apache.org/releases/content/1.8.0/FlumeUserGuide.html
在这里插入图片描述

配置文件中exec source监测的日志文件,可以使用如下命令获取(前提是docker环境已部署,且有应用在运行)

docker inspect --format='{{.LogPath}}' <容器id>

任务执行

bin/flume-ng agent -c conf -f ./job/exec-memory-logger.conf -n a1//使用nohup &后台运行,不占用终端,但会生成nohup.out日志文件
nohup  bin/flume-ng agent -c conf -f ./job/exec-memory-logger.conf -n a1 &

到转储目录下查看,

在这里插入图片描述

superset- 是配置前缀,log是配置后缀,中间是时间戳(框架默认创建时间)

之所以有多个,是因为多次启停了flume agent任务。

实时性观察

tail -f 容器服务日志文件

同时tail -f 转储后的日志文件

发现两边有一个大概10S内的时差,容器服务日志产生后,大概5-6s才会在转储文件tail -f 到

经验总结

1 该方式转储日志文件基本能保证实时,时差大概5-6s(本机测试,未考虑网络时延,仅供参考)

2 flume 停止后在启动,会生成新的转储文件

3 exec source 不支持断点续传,停止后再启动,停止时间段数据不会处理

http://www.hengruixuexiao.com/news/11934.html

相关文章:

  • 公司做网站怎么样惠州seo怎么做
  • 无锡专业做网站的公司哪家好百度seo在哪里
  • 还有哪些网站可以做淘宝活动学生制作个人网站
  • 中国建设银行注册网站用户名怎么填seo培训
  • 网站开发软件费用如何搜索关键词
  • 学前教育网站建设域名注册商有哪些
  • 专门做孩子早教的网站my77728域名查询
  • wordpress 国际支付宝seo报价单
  • 河北住房建设厅官方网站seo课程
  • 谷歌账号注册网站打不开学网络营销好就业吗
  • 长治做网站哪家好电商关键词seo排名
  • 微信扫二维码网页历史记录廊坊百度快照优化
  • 宜昌哪里有专业做网站的整站seo排名费用价格
  • 石家庄 外贸网站建设百度网络优化
  • 中山市seo推广点击软件seo兼职平台
  • 做公司网站详细步骤台州专业关键词优化
  • 广告联盟怎么接单济源新站seo关键词排名推广
  • 新闻网站开发书籍免费发seo外链平台
  • b2c电子商务网站系统下载深圳电子网络推广查询
  • 快速开发平台破解版南宁企业官网seo
  • 网站建设维护和服务合同营销的概念是什么
  • 表格网站怎么做网站建设关键词排名
  • 怎样做企业网站备案关键词热度查询
  • 一级域名和二级域名做两个网站qq推广链接生成
  • 自己做个网站多少钱seo网站营销推广公司
  • wordpress css 图片路径百度seo排名优化助手
  • 鄂尔多斯市城乡建设委员会网站百度上海分公司
  • 天津网站建设外包线上培训机构有哪些
  • 繁体商城网站模板2345网址导航手机版
  • 如何做微信官方网站公司网站费用