centos7安装influxdb

更改存储路径时，记得给路径权限， 不然数据写不进

1
2

[root@cdh85-99 influxdb]# chown influxdb:influxdb -R data/ 
[root@cdh85-99 influxdb]# chown influxdb:influxdb -R wal

https://blog.csdn.net/tongzidane/article/details/131850118

ocp升级

要在obd服务器上操作：

1. 登录 OBD 宿主机。

2. 执行如下命令，使环境变量生效。

1
2
3
4
5
6
7

wget https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/download-center/opensource/oceanbase-all-in-one/7/x86_64/oceanbase-all-in-one-4.3.3.1_20241023.el7.x86_64.tar.gz

tar -xzvf oceanbase-all-in-one-4.3.3.1_20241023.el7.x86_64.tar.gz

cd oceanbase-all-in-one/bin && bash install.sh

source ~/.oceanbase-all-in-one/bin/env.sh

3. 执行 obd web upgrade ，在返回信息中获取升级向导页面的 IP 地址。 （升级的地址不一定是ocp-server的地址）

数据库升级软件包目录：

1

/home/root/software/sys-package

yum install -y sudo vi less which wget net-tools fontconfig libaio hwloc libpciaccess lsof perl-Data-Dumper perl lz4 libunwind libev zstd

把包上传到10.0.19.151 上然后执行 tar -zxvf dmpother.tar.gz -C /data/umc/components/ 就可以了

/opt/mysql/base/5.7.25/bin/mysql -uroot -p -P3306 -h10.0.19.151 #mysql-jfdfh6 #10.0.19.151:3306 #mysql-g001

mysql-g003
caZgcDQG-85lJS=@

mysql-g002
vjE$v-+h2PJq4OCe

mysql-g001
_qx%Xc$$+X-934$*

mysql-g004

HiqxgHl0ho@#_=Xw

https://www.cnblogs.com/f-ck-need-u/p/9279703.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

sysbench --mysql-host=10.0.19.47 \
         --mysql-port=3306 \
         --mysql-user=yangze \
         --mysql-password=yangze \
         /usr/share/sysbench/oltp_common.lua \
         --tables=2 \
         --table_size=50000000 \
         prepare
         
sysbench --mysql-host=10.0.19.47 \
         --mysql-port=3306 \
         --mysql-user=yangze \
         --mysql-password=yangze \
         /usr/share/sysbench/oltp_common.lua \
         --tables=2 \
         cleanup

Yarn ResourceManager HA 故障转移问题定位

用户无法在yarn集群上提交任务

解决方案:

关闭所有的ResourceManager进程

通过zk客户端查看

sh /opt/cloudera/parcels/CDH/lib/zookeeper/bin/zkCli.sh

ls /rmstore/ZKRMStateRoot/RMAppRoot 目录下

不为空则使用该命令 rmr /rmstore/ZKRMStateRoot/RMAppRoot 删除目录文件

删除完再启动ResourceManager恢复正常
此种方式是将ZK中需要RM恢复的任务清空实现的，即RM不恢复正在运行的任务，会导致集群正在运行的任务停止

原文链接：https://blog.csdn.net/anguoan/article/details/128613672

Yarn ResourceManager HA 故障转移问题定位

用户无法在yarn集群上提交任务

解决方案:

关闭所有的ResourceManager进程

通过zk客户端查看

sh /opt/cloudera/parcels/CDH/lib/zookeeper/bin/zkCli.sh

ls /rmstore/ZKRMStateRoot/RMAppRoot 目录下

不为空则使用该命令 rmr /rmstore/ZKRMStateRoot/RMAppRoot 删除目录文件

删除完再启动ResourceManager恢复正常
此种方式是将ZK中需要RM恢复的任务清空实现的，即RM不恢复正在运行的任务，会导致集群正在运行的任务停止

原文链接：https://blog.csdn.net/anguoan/article/details/128613672

1. 发生 “close index channel failed” 和 “too many tablet versions” 错误应该如何处理？

上述报错是因为导入频率太快，数据没能及时合并 (Compaction) ，从而导致版本数超过支持的最大未合并版本数。默认支持的最大未合并版本数为 1000。可以通过如下方法解决上述报错：

• 增大单次导入的数据量，降低导入频率。

• 修改 BE 配置文件 be.conf 中相关参数的配置，以加快 Compaction：

  • 对于明细表、聚合表和更新表，可以适当调大 cumulative_compaction_num_threads_per_disk、base_compaction_num_threads_per_disk 和 cumulative_compaction_check_interval_seconds 的值。例如：

    1 2 3

    cumulative_compaction_num_threads_per_disk = 4 base_compaction_num_threads_per_disk = 2 cumulative_compaction_check_interval_seconds = 2

  • 对于主键表，可以适当调大 update_compaction_num_threads_per_disk 的值。适当调小 update_compaction_per_tablet_min_interval_seconds 的值。

  修改完成后，需要观察内存和 I/O，确保内存和 I/O 正常。

curl -XPOST http://172.20.85.188:8040/api/update_config?tablet_max_versions=10000

动态修改分桶是生效的

1

ALTER TABLE BAOFOO_CM_V2.cm_entry_asy_ma SET ("dynamic_partition.buckets" = "9")

动态修改分区周期是生效的，

1
2
3
4
5

ALTER TABLE test_db.`yq_protocol_payment_order2` SET ("dynamic_partition.time_unit" = "month");

ALTER TABLE test_db.`yq_protocol_payment_order2` SET ("dynamic_partition.enable" = "false");
ALTER TABLE test_db.`yq_protocol_payment_order2` ADD PARTITIONS START ("2022-01-10") END ("2025-01-01") EVERY (interval 1 month);
ALTER TABLE test_db.`yq_protocol_payment_order2` SET ("dynamic_partition.enable" = "true");

START (“2022-01-10”) END (“2025-01-01”) EVERY (interval 1 month) 这种方式添加分区要注意周期的结束时间

但是要注意结束的周期， 必须手动补全缺失的分区

前面提到过，我们可以为分区设置单独的存储策略，比如增加分区时使用新的副本数：

1
2
3

ALTER TABLE starrocks.table07
ADD PARTITION p20210313 VALUES LESS THAN ("2021-03-14")
("replication_num"="1");

修改分区副本数：

1
2

ALTER TABLE starrocks.table07
MODIFY PARTITION p20210313 SET("replication_num"="2");

修改表的默认副本数量，新建分区副本数量默认使用此值：

1
2

ALTER TABLE starrocks.table07
SET ("default.replication_num" = "2");

修改单分区表的实际副本数量（只限单分区表）：

1
2

ALTER TABLE starrocks.table06
SET ("replication_num" = "1");

修改表所有分区的副本数：

1
2
3

ALTER TABLE starrocks.table01
MODIFY PARTITION(*)
SET ("replication_num" = "3");

CDH 5.13升级到5.16

本篇章节主要介绍如何从CDH 5.13升级到5.16版本，此步骤也可以借鉴用来作其他CDH版本升级的指导。

首先，准备CDH 5.16的安装包，包括CM 5.16的rpm包，及CDH 5.16的parcel包。

1
2
3
4
5
6
7
8

//parcel包
-rw-r--r-- 1 root root 2132782197 Oct 14 16:01 CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel 
-rw-r--r-- 1 root root         41 Oct 14 16:01 CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha 
//CM安装包
cloudera-manager-agent-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm     
cloudera-manager-server-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm       
cloudera-manager-daemons-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm   
cloudera-manager-server-db-2-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm  repodata

配置临时http服务及本地yum源
进入到cm rpm安装包所在的目录，执行命令

1
2
3

yum install -y createrepo
createrepo .
python -m SimpleHTTPServer 8900 &

，启动http服务监听，端口为8900
配置本地yum源，添加cm_local.repo文件到/etc/yum.repos.d/目录下，内容如下，

1
2
3
4
5

[cm_local] 
name=cm_local 
baseurl=http://192.168.81.50:8900/ 
enabled=1 
gpgcheck=0

将此文件复制到集群每个节点

停止所有节点的Hadoop服务及cm server及cm agent服务
从7180网页中停止Hadoop集群服务
使用以下命令停止cm server及agent服务

[clickhouse]
172.20.85.[111:113]
172.20.85.[138:142]

[fe]
172.20.85.[111:113]

[be]
172.20.85.[138:142]

1
2

ansible clickhouse -m copy -a "src=/root/.bashrc dest=/root/.bashrc "
ansible clickhouse -m shell -a "java -version  "

1
2
3

ansible clickhouse -m shell -a "yum install -y rsync  "
ansible clickhouse  -m synchronize  -a "src=/opt/module/StarRocks dest=/opt/module/"  
ansible clickhouse -m shell -a " ls /opt/module/StarRocks "

fe部署

第一次启动需指定–helper参数，后续再启动无需指定此参数
sh /opt/module/StarRocks/fe/bin/start_fe.sh --helper 172.20.85.111:9010 --daemon

1
2

ansible fe -m shell -a " sh /opt/module/StarRocks/fe/bin/stop_fe.sh "
ansible fe -m shell -a " sh /opt/module/StarRocks/fe/bin/start_fe.sh --daemon "

1
2
3
4
5
6

mysql -h 127.0.0.1 -P9030 -uroot -p
mysql> SHOW PROC '/frontends'\G
ALTER SYSTEM ADD FOLLOWER "172.20.85.112:9010";
ALTER SYSTEM ADD FOLLOWER "172.20.85.142:9010";
# ALTER SYSTEM DROP FOLLOWER "172.20.85.142:9010";
ALTER SYSTEM ADD OBSERVER "172.20.85.113:9010";

be 部署

在vim保存时获得sudo权限

在维护线上服务的时候，经常要编辑一些不属于操作用户的文件，就是只有r权限的那种，每次保存都会提示read only。只能先记下来改了什么，然后再退出，然后 sudo vim 再做保存。

下面的命令可以不退出vim进程，直接用vim命令获取sudo权限，然后直接保存文件。

1

:w !  sudo  tee  %

命令:w !{cmd}，让 vim 执行一个外部命令{cmd}，然后把当前缓冲区的内容从 stdin 传入。

tee 是一个把 stdin 保存到文件的小工具。

而 %，是vim当中一个只读寄存器的名字，总保存着当前编辑文件的文件路径。

所以执行这个命令，就相当于从vim外部修改了当前编辑的文件。

执行:w ! sudo tee %后，会提示输入密码，之后再选择重新加载文件，即可看到保存后的文件