Flink的checkpoint机制
https://github.com/flink-china/flink-training-course章节2.3 搞懂Flink Checkpoint机制，实现故障恢复、应用容错能力 公司reorg, 不搞Flink了，大数据这一个领域刚刚踏进了半只脚吧。JVM的视频刷了一半，只看了内存划分，类加载器，执行引擎什么的都还没看。Prometheus和Grafana目前也只是勉强会用。Kafka
Flink反压机制和反压监控
当一个作业提交到Flink集群后，我们通过什么指标观察作业的运行状态？如果作业流量突增超过了集群的负载能力，我们如何得知？如果下游发现数据出现了延迟，我们怎么去troubleshooting? 要回答以上问题，我们必须要理解flink的反压机制。通过反压指标，我们可以观察到每个子任务的运行状态，是繁忙，空闲还是拥塞？ 反压机制这个视频已经讲得很清楚了，网上的大多博文都是这个视频的复述。直接看视频即
Flink性能调优之序列化与反序列化
在Flink中序列化和反序列化是影响性能的一个重要因素。不合适的序列化器的使用以及过多的序列化反序列化操作都可能极大地影响性能。就我个人的经验来说，去除代码中多余的序列化操作使得吞吐量从2万提升到了8万。 本篇博文主要围绕以下内容展开： 什么是序列化和反序列化？它通常用于什么地方？为什么序列化反序列化会较大地影响性能？ 在Flink中哪些地方会用到序列化和反序列化？ 针对序列化和反序列化的问题，
Flink维表关联方案
数据流往往需要访问外部的数据源来丰富自己的信息，比如通过record中的ip地址查询ip数据库maxmind的GeoIP2 Databases得到ip对应的城市名称，城市经纬度，将这些作为新的字段添加到原来的record中。这就涉及到本篇的主题：维表关联。 网上关于flink中维表关联的博文很多，本文我想谈一谈个人对不同方案的理解和尝试后发现的一些问题。如果想要比较全面地了解维表关联的各个解决方案
从0开始部署一个Flink集群：理论篇
本系列博文由3篇文章组成： 从0开始部署一个Flink集群：理论篇 从0开始部署一个Flink集群：实践篇（独立部署） 从0开始部署一个Flink集群：实践篇（Native k8s部署） 主要回答以下问题： Flink集群是由哪些组件组成的？它们彼此之间如何协调工作的？ 在Flink中job, task, slots,parallelism是什么意思？集群中的资源是如何调度和分配的？ 如何搭
从0开始部署一个Flink集群：实践篇（Native k8s部署）
上一篇博文介绍了如何独立部署一个高可用的Flink集群,本篇介绍如何用Native k8s去部署高可用的Flink 集群。本篇介绍的集群构建在AWS上，和构建在自己的服务器相比，主要区别在文件系统的选择和使用上。我选用的S3服务。 EC2操作系统：centos7 本机操作系统：Mac flink version: 1.14 jdk version: java8 HA service: k8s F