hk-blockin系统优化

群用到了那些组件？版本有什么要求？

trino386，这个是jdk11了，安装两个目录就行了， phoenix5， hive3.1.2, hadoop.3.1.3,spark2.4.8,spark3.2 flink1.12.7, flink和spark都想升级。 iceberg.0.13.2,

trino ui地址 http://cdh192-57:8089/ui/ 用户 presto jdbc 172.20.192.57 用户presto

软件都安装在/home/hadoop/bigdata/这个下面

[root@hadoop102 ~]$ xsync/home/hadoop/bigdata/hadoop/etc/hadoop/capacity-scheduler.xml

刷新yarn集群的队列

1	${HADOOP_HOME}/bin/yarn rmadmin -refreshQueues` 或`yarn rmadmin -refreshQueues

hbase

cdh192-[234-236]

/opt/local/

tar -zxvf hbase-2.4.11-bin.tar.gz -C /opt/module/

mv /opt/module/hbase/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar /opt/module/hbase/lib/client-facing-thirdparty/slf4j-reload4j-1.7.33.jar.bak

echo usdp02 > conf/backup-masters

phenix 部署

https://app.yinxiang.com/fx/73f7b1c8-9c10-4b48-92a8-50afa5d3e9c8

zkCli.sh -server 127.0.0.1:2181

<property>
  <name>yarn.scheduler.capacity.resource-calculator</name>
  <value>org.apache.hadoop.yarn.util.resource.DominantResourceCalculator</value>
  <description>
        资源计算方法：
        DefaultResourseCalculator只会计算内存
        DominantResourceCalculator 考虑内存和CPU
  </description>
</property>

phoenix client

172.20.192.151:/opt/module/phoenix-hbase-2.1-5.1.2/

1
2
3

phoenix-sqlline cdh192-150,cdh192-151,cdh192-152,cdh192-153,cdh192-154:2181

/opt/module/phoenix-hbase-2.1-5.1.2/bin/sqlline.py cdh192-150,cdh192-151,cdh192-152,cdh192-153,cdh192-154:2181