分享知识，分享快乐

0%

集成Flink HistoryServer至CDH

发表于

集成Flink HistoryServer至CDH

参考 https://blog.csdn.net/guiyifei/article/details/109325980

制作Flink的parcel包和csd文件

1. 下载制作脚本

1
2
3
git clone https://github.com/EvenGui/flink-parcel-master

cd flink-parcel-master
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#FLINk 下载地址
FLINK_URL=  /opt/soft/flink-1.14.6-bin-scala_2.12.tgz

#flink版本号
FLINK_VERSION=1.14.6

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.12

#操作系统版本，以centos为例
OS_VERSION=7

#CDH 小版本
CDH_MIN_FULL=5.13.1
CDH_MAX_FULL=6.3.2

#CDH大版本
CDH_MIN=5
CDH_MAX=6

编译parcel

1
sh build.sh parcel

./FLINK-1.14.6-BIN-SCALA_2.12/lib/flink/bin/start-scala-shell.sh does not exist.

image-20230310160047820

编译会报错，我是创建一个空文件

编译完会在flink-parcel项目根目录下生成_build文件夹

编译csd

1
sh build.sh csd

配置参考

  1. 修改flink-conf.yaml文件
    # 是否清理不存在的作业(即已经过期的)
    historyserver.archive.clean-expired-jobs：false

    # 每一个归档目录下可以保留的最大job数，设置为-1即不限制
    historyserver.archive.retained-jobs：-1

    # HistoryServer 地址
    historyserver.web.address：0.0.0.0

    # HistoryServer web地址
    historyserver.web.port：9999

    # web端刷新间隔
    historyserver.web.refresh-interval: 10000

    # 配置已归档jm路径
    jobmanager.archive.fs.dir: hdfs:///project/flink/history-server/

    #historyserver监控归档路径，该路径要和jm配置的一样
    historyserver.archive.fs.dir：hdfs:///project/flink/history-server/

    # 每10s扫描一次归档路径
    historyserver.archive.fs.refresh-interval: 10000