集成Flink HistoryServer至CDH
参考 https://blog.csdn.net/guiyifei/article/details/109325980
制作Flink的parcel包和csd文件
1. 下载制作脚本
1 | git clone https://github.com/EvenGui/flink-parcel-master |
修改参数vim flink-parcel.properties
1 | #FLINk 下载地址 |
编译parcel
1 | sh build.sh parcel |
./FLINK-1.14.6-BIN-SCALA_2.12/lib/flink/bin/start-scala-shell.sh does not exist.
编译会报错,我是创建一个空文件
编译完会在flink-parcel项目根目录下生成_build文件夹
编译csd
1 | sh build.sh csd |
配置参考
-
修改flink-conf.yaml文件
# 是否清理不存在的作业(即已经过期的)
historyserver.archive.clean-expired-jobs:false# 每一个归档目录下可以保留的最大job数,设置为-1即不限制
historyserver.archive.retained-jobs:-1# HistoryServer 地址
historyserver.web.address:0.0.0.0# HistoryServer web地址
historyserver.web.port:9999# web端刷新间隔
historyserver.web.refresh-interval: 10000# 配置已归档jm路径
jobmanager.archive.fs.dir: hdfs:///project/flink/history-server/#historyserver监控归档路径,该路径要和jm配置的一样
historyserver.archive.fs.dir:hdfs:///project/flink/history-server/# 每10s扫描一次归档路径
historyserver.archive.fs.refresh-interval: 10000