当前位置: 首页 > news >正文

毕业论文做网站免费个人网站制作

毕业论文做网站,免费个人网站制作,网址大全黄免费片,wordpress弱点flink作业中的MapState开启了TTL,并且使用rocksdb作为状态后端配置了全量快照方式(同时启用全量快照清理),希望能维持一个平稳的运行状态,但是经观察后发现效果不达预期,不仅checkpoint size持续缓慢递增&a…

flink作业中的MapState开启了TTL,并且使用rocksdb作为状态后端配置了全量快照方式(同时启用全量快照清理),希望能维持一个平稳的运行状态,但是经观察后发现效果不达预期,不仅checkpoint size持续缓慢递增,很长时间后还发生了物理内存溢出。

场景复现
        env.addSource(new OneRecordSource(100000000, 1)).keyBy(e -> e).map(new RichMapFunction<String, String>() {private MapState<String, String> map;@Overridepublic void open(Configuration parameters) throws Exception {super.open(parameters);StateTtlConfig ttlConfig = StateTtlConfig.newBuilder(Time.minutes(1)).cleanupFullSnapshot().build();MapStateDescriptor<String, String> lastStateDes = new MapStateDescriptor<>("lastState", String.class, String.class);lastStateDes.enableTimeToLive(ttlConfig);map = getRuntimeContext().getMapState(lastStateDes);}@Overridepublic String map(String key) throws Exception {map.put(key, key + "值值值值值值值值值值值值值值值值值");return key;}}).print();

自定义一个简单的source持续递增生成整数,作为key保存到MapState,设置了1分钟的过期时间,从web中看到,即使过了几分钟,但是checkpoint size依然是稳步增加的,说明了过期的数据并没得到清理。
在这里插入图片描述

原因分析

现象中全量checkpoint size增长,说明了两个问题

  1. 本地rocksdb持续增长,过期数据在本地状态得没得到清理
  2. 远端快照文件持续增长,过期数据在快照过程依然被保留了

rocksdb作为状态后端时依赖的是压缩时清理过期数据,具有滞后性(越久的数据处于更上层,压缩频率更小),这解释了发生问题1的原因。在启用了全量快照清理条件下,就算本地状态依然保留着过期数据,在发生全量快照的时候为什么不把过期数据过滤掉,造成checkpoint size单调递增,理想的情况是随着ttl发生周期性的增减。

在全量快照时,在RocksDBMapState.StateSnapshotTransformerWrapper.filterOrTransform中会对本地所有状态数据根据ttl配置进行过滤转换,对于已过期的key,其value设为NULL_VALUE(长度为1的byte[]),这样造成了过期的kv依然保留在远程端,只是原始的值使了统一的标识代替,但是hashmap的MapState在该环节会把过期的kv直接过滤掉。造成这种处理上的差异不知道是什么出发点,不过测试将过期的value修改为null后,在一个ttl周期后,checkpoint size趋向于固定,效果和hashmap一致。

ps:RocksDbListState效果正常。

总结
  1. rocksdb的压缩与sst文件数量和大小有关,所以猜测全量快照大小到达一个比较大的值后应该不会继续增长
  2. 可以调整rocksdb的压缩策略,使压缩变得更“积极”,但是肯定会消耗更多资源
  3. rocksdb + MapState + TTL组合使用,建议使用增量快照方式
http://www.hengruixuexiao.com/news/33587.html

相关文章:

  • 《动态网站建设》第03章在线测试搜索引擎优化的完整过程
  • 苏州网站建设外贸今日广东头条新闻
  • 合肥seoseo基础教程视频
  • 遵义网站建设服务百度经验官网
  • 陈塘庄网站建设知名品牌营销策略
  • 怎么做网站搜索引擎利于搜索西安百度推广运营
  • 欧力虎网站建设网站快照优化公司
  • wordpress product插件网站seo优化价格
  • 做网站推广需要多少费用sem
  • 东莞网站视频软文发布平台与板块
  • 网站开发只要网站排名掉了怎么恢复
  • 怎样上传网站到百度中国新闻最新消息今天
  • 怎样创建一个公司惠州抖音seo策划
  • 为什么要做个人网站最近几天发生的新闻大事
  • 做网站的一些话术文职培训机构前十名
  • 做网站备案要多久360搜索关键词优化软件
  • 做哈尔滨本地门户网站赚钱吗什么叫优化
  • 做百度推广和企业网站那个有效果吗成品短视频app源码的优点
  • 做网站二级域名随便用吗网络营销机构官方网站
  • 怎么做视频监控的网站灵感关键词生成器
  • 昆明做网站的网络公司软文推广方案
  • 用dw做音乐网站模板今日舆情热点
  • 做网站1008做网站 - 百度互联网广告平台排名
  • 做网站microsoft百度网页网址
  • 政府站群网站怎么做crm管理系统
  • 医院网站后台模板桔子seo网
  • 公司新产品开发项目属于公司创业吗怎样淘宝seo排名优化
  • 大连里程科技做网站正规网站建设公司
  • 福田网站设计公司哪家好注册网站域名
  • 企业英文网站制作百度识图网页版 在线