【Flink】Flink 写入 Clickhouse 大对象直接进入老年代 导致OOM

【Flink】Flink 写入 Clickhouse 大对象直接进入老年代 导致OOM,第1张

【Flink】Flink 写入 Clickhouse 大对象直接进入老年代 导致OOM

本文为博主九师兄(QQ:541711153 欢迎来探讨技术)原创文章,未经允许博主不允许转载。

文章目录
  • 1.概述
  • 2. 验证

1.概述

事情是这样的。使用开源的修改 https://github.com/ivi-ru/flink-clickhouse-sink flink http方式写入Clickhouse.

开始数据量小了没问题,最后数据量大了就会频繁OOM. 然后经过很长时间的排查

开始的现象是:【Flink】kafka Response from server for which there are no in-flight requests NETWORK_EXCEPTION

不是ck写入失败导致的因此和最新的代码没有什么关系

  1. 网络问题 您收到了 NETWORK_EXCEPTION,所以这应该告诉您与您生产的 Kafka Broker 的网络连接有问题。由于某种原

欢迎分享,转载请注明来源:内存溢出

原文地址:https://54852.com/zaji/5116500.html

(0)
打赏 微信扫一扫微信扫一扫 支付宝扫一扫支付宝扫一扫
上一篇 2022-11-17
下一篇2022-11-17

发表评论

登录后才能评论

评论列表(0条)

    保存