产品展示
  • 电动尾门请勿手拉车贴 个性反光汽车贴纸宝马X1自动门警示贴包邮
  • 蜘蛛侠个性车贴 划痕贴 遮挡擦痕汽车贴纸 保险杠贴 趣味搞笑车贴
  • 科鲁兹改装 火焰图腾汽车头贴纸 引擎盖车贴纸划痕 机盖贴车门贴
  • 适用于大众探歌改装专用内饰配件  探歌后备箱储物盒备胎收纳盒
  • 适用于新老款宝马x1不锈钢车窗饰条汽车改装配件亚光黑色窗边亮条
联系方式

邮箱:admin@aa.com

电话:020-123456789

传真:020-123456789

汽车电瓶

StarRocks笔记-Routine Load数据接入延迟

2024-04-29 19:37:35      点击:537

StarRocks笔记-Routine Load数据接入延迟

背景

为了接入实时事件数据 ,记R接入需要借助于StarRocks的数据RoutineLoad能力,将kafka的延迟数据接入到StarRocks的表中,在routine load比较多的记R接入情况下  ,出现大量的数据数据延迟 ,最高延迟达到了16分钟 。延迟

其中 ,记R接入在创建routine load的数据脚本里,设置了如下参数:

  • desired_concurrent_number等于kafka的延迟分区数
  • max_batch_interval等于20

官方答复

咨询了官方后,官方给出如下答复(https://forum.starrocks.com/t/topic/1675)。记R接入

routine load 消费的数据并行度取决于以下四个属性的最小值 ,增大并行度可以增加消费速率  :

  1. desired_concurrent_number  ,延迟创建routine load任务时指定参数 ,记R接入默认3 。数据
  2. kafka的延迟分区数。
  3. fe的配置 max_routine_load_task_concurrent_num = 5 。
  4. be数量。

其中  ,参数max_routine_load_task_concurrent_num是指每个routine load作业最大并发执行的task数。

解决方案

鉴于此,有三个方向值得一试。

  • 首先得考虑kafka的分区数是否合理,如果kafka过多 ,可以考虑缩小分区数对齐be节点个数  ,或者用多个routine load来接收同一个kafka不同分区的数据;
  • 其次,调整参数max_routine_load_batch_size,增加每次routine load接入的数据量;
  • 最后扩容BE节点个数 ,再次基础上再去调整上面的参数。

辅助

楼下的日志是截取于BE日志文件里的一段内容,从中可以分析每次接收的数据量以及耗时。

data_consumer_group.cpp:131] consumer group done: 41448fb1a0ca59ad-30e34dabfa7e47a0. consume time(ms)=3261, received rows=179190, received bytes=9855450, eos: 1, left_time: -261, left_bytes: 514432550, blocking get time(us): 3065086, blocking put time(us): 24855

魔兽世界怀旧服:死亡骑士种族天赋推荐,练级非常轻松
雷神网游加速器的最新口令兑换码CDK拿走吧:haha666