当前位置: 首页 > news >正文

民治营销网站制作公司网站如何seo

民治营销网站制作,公司网站如何seo,域名备案注销,网站后台开发技术我在用flinkcdc把数据从sqlserver写到doris 正常情况下sqlserver有删除数据,doris是能捕获到并很快同步删除的。 但是我现在情况是doris做为数仓,数据写到ods,ods的数据还会通过flink计算后写入dwd层,所以此时ods的数据是删除了…

我在用flinkcdc把数据从sqlserver写到doris

正常情况下sqlserver有删除数据,doris是能捕获到并很快同步删除的。

但是我现在情况是doris做为数仓,数据写到ods,ods的数据还会通过flink计算后写入dwd层,所以此时ods的数据是删除了,但是dwd甚至ads的都没删除,这样就会有脏数据。此时我们就需要去捕获被删除的数据,就要用到debezium插件。

利用cdc把数据从sqlserver发送到kafka,并转为debezium的json格式。

source表正常配,sink-kafka的表配置如下:

然后再拉一个工作流

想获取数据的话,就用如下方式:

很多人不懂op是什么,c是什么,接下来解释下: 

debezium会有四种op的数据,

  • op :表示当前事件的类型,取值为:c表示insert、u表示update、d表示delete、r表示快照read;
  • ts_ms: connector处理该事件的本地时间戳,可以省略;
  • before:变化事件发生之前的值;
  • after:变化事件发生之后的值;
  • source:事件源的结构信息,包括connector版本、事务ID等;

 举个例子:

  • 新增一条数据:
insert into inventory.a values (4, 'n4');

控制台输出的是:

..."payload":{"before":null,"after":{"id":4,"name":"n4"}..."op":"c"...
  • 修改一条数据:
update inventory.a set name = 'n4-upd' where id = 4;

控制台输出的是:

..."payload":{"before":{"id":4,"name":"n4"},"after":{"id":4,"name":"n4-upd"}..."op":"u"...
  • 删除一条数据:
delete from inventory.a where id = 1;

控制台输出的是:

..."payload":{"before":{"id":1,"name":"n1"},"after":null..."op":"d"...

这样就可以获取到被删除的数据,或者是更新前的数据啦~

我在sqlserver测试的时候,发现update一条数据,实际上会先有一条d,然后有一条c。

http://www.hengruixuexiao.com/news/23831.html

相关文章:

  • 做网站要需要多少钱郑州网络推广专业公司
  • 苏州做管网gis的网站什么是网络推广
  • 北京中高端网站建设天津关键词排名提升
  • 做网站还是app好南京seo按天计费
  • 网站优化 h几 更易被抓国外搜索网站排名
  • 南阳企业网站建设公司惠州关键词排名优化
  • 苏州网站搜索优化优化设计数学
  • 外贸型网站推广与监测巩义网络推广
  • 网页前端开发工程师深圳关键词优化报价
  • 网站开发及企业推广seo 推广怎么做
  • 国内老牌的网站制作seo网页优化公司
  • 网站做成软件网店如何推广
  • 如何推广自己的外贸网站百度seo搜索引擎优化
  • 十种网络推广的方法爱站网seo培训
  • wordpress如何设置字体大小东莞seo外包平台
  • 做网站怎么给客户打电话济南做网站建设的公司
  • 服务器网站开发重庆小潘seo
  • c 网站建设设计报告网页模板网站
  • 淘宝做网站网站开发的步骤
  • 网站宽度全部列表支持安卓浏览器软件下载
  • 望江网站建设怎么买到精准客户的电话
  • 做网站大概价格搭建网站的软件
  • 单页面网站模板怎么做做小程序公司哪家好
  • 招标采购平台某网站seo诊断分析和优化方案
  • wordpress没人维护了重庆seo网站建设
  • 国产前端框架 做网站数据分析师就业前景
  • 做衣服网站的实验感想青岛百度推广优化怎么做的
  • 上传wordpress到服务器福州seo代理计费
  • 中国城乡和住房建设部网站首页seo关键词外包公司
  • 网站的建立过程创建网站