你的位置:首页 > 信息动态 > 新闻中心
信息动态
联系我们

Flink从入门到精通100篇(二十三)-Flink实战应用案例:如何清理过期的 Checkpoint 目录?

2021/12/11 6:05:25

目录

  • Flink Checkpoint 目录的清除策略

  • 生产环境应该选择哪种清除策略

  • 生产环境必须定期脚本清理 Checkpoint 和 Savepoint 目录

  • RocksDB 增量 Checkpoint 实现原理

  • 如何合理地删除 Checkpoint 目录?

  • 通过解析 Flink Checkpoint 的元数据信息来合理清理 Checkpoint 信息

1. 故障背景

本次故障涉及到的知识面比较多,将从以下多个角度来详细描述。

1.1 Flink Checkpoint 目录的清除策略

如下图所示,红圈处的一行配置 env.getCheckpointConfig().enableExternalizedCheckpoints() 表示当 Flink 任务取消时,是否保留外部保存的 CheckPoint 信息。

参数有两种枚举,分别是:ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION 和 ExternalizedCheckpointCleanup.DELETE_ON_CANCELLATION。这两种枚举分别代表什么含义呢?看一下源码中的解释:

  • DELETE_O