分享知识,分享快乐

0%

ocp升级

要在obd服务器上操作:

  1. 登录 OBD 宿主机。

  2. 执行如下命令,使环境变量生效。

1
2
3
4
5
6
7
wget https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/download-center/opensource/oceanbase-all-in-one/7/x86_64/oceanbase-all-in-one-4.3.3.1_20241023.el7.x86_64.tar.gz

tar -xzvf oceanbase-all-in-one-4.3.3.1_20241023.el7.x86_64.tar.gz

cd oceanbase-all-in-one/bin && bash install.sh

source ~/.oceanbase-all-in-one/bin/env.sh
  1. 执行 obd web upgrade ,在返回信息中获取升级向导页面的 IP 地址。 (升级的地址不一定是ocp-server的地址)

数据库升级软件包目录:

1
/home/root/software/sys-package
阅读全文 »

yum install -y sudo vi less which wget net-tools fontconfig libaio hwloc libpciaccess lsof perl-Data-Dumper perl lz4 libunwind libev zstd

把包上传到10.0.19.151 上然后执行 tar -zxvf dmpother.tar.gz -C /data/umc/components/ 就可以了

/opt/mysql/base/5.7.25/bin/mysql -uroot -p -P3306 -h10.0.19.151 #mysql-jfdfh6 #10.0.19.151:3306 #mysql-g001

mysql-g003
caZgcDQG-85lJS=@

mysql-g002
vjE$v-+h2PJq4OCe

mysql-g001
_qx%Xc$$+X-934$*

mysql-g004

HiqxgHl0ho@#_=Xw

https://www.cnblogs.com/f-ck-need-u/p/9279703.html

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
sysbench --mysql-host=10.0.19.47 \
--mysql-port=3306 \
--mysql-user=yangze \
--mysql-password=yangze \
/usr/share/sysbench/oltp_common.lua \
--tables=2 \
--table_size=50000000 \
prepare

sysbench --mysql-host=10.0.19.47 \
--mysql-port=3306 \
--mysql-user=yangze \
--mysql-password=yangze \
/usr/share/sysbench/oltp_common.lua \
--tables=2 \
cleanup
阅读全文 »

Yarn ResourceManager HA 故障转移问题定位

用户无法在yarn集群上提交任务

解决方案:

关闭所有的ResourceManager进程

通过zk客户端查看

sh /opt/cloudera/parcels/CDH/lib/zookeeper/bin/zkCli.sh

ls /rmstore/ZKRMStateRoot/RMAppRoot 目录下

不为空则使用该命令 rmr /rmstore/ZKRMStateRoot/RMAppRoot 删除目录文件

删除完再启动ResourceManager恢复正常
此种方式是将ZK中需要RM恢复的任务清空实现的,即RM不恢复正在运行的任务,会导致集群正在运行的任务停止

原文链接:https://blog.csdn.net/anguoan/article/details/128613672

阅读全文 »

Yarn ResourceManager HA 故障转移问题定位

用户无法在yarn集群上提交任务

解决方案:

关闭所有的ResourceManager进程

通过zk客户端查看

sh /opt/cloudera/parcels/CDH/lib/zookeeper/bin/zkCli.sh

ls /rmstore/ZKRMStateRoot/RMAppRoot 目录下

不为空则使用该命令 rmr /rmstore/ZKRMStateRoot/RMAppRoot 删除目录文件

删除完再启动ResourceManager恢复正常
此种方式是将ZK中需要RM恢复的任务清空实现的,即RM不恢复正在运行的任务,会导致集群正在运行的任务停止

原文链接:https://blog.csdn.net/anguoan/article/details/128613672

阅读全文 »

1. 发生 “close index channel failed” 和 “too many tablet versions” 错误应该如何处理?

上述报错是因为导入频率太快,数据没能及时合并 (Compaction) ,从而导致版本数超过支持的最大未合并版本数。默认支持的最大未合并版本数为 1000。可以通过如下方法解决上述报错:

  • 增大单次导入的数据量,降低导入频率。

  • 修改 BE 配置文件 be.conf 中相关参数的配置,以加快 Compaction:

    • 对于明细表、聚合表和更新表,可以适当调大 cumulative_compaction_num_threads_per_diskbase_compaction_num_threads_per_diskcumulative_compaction_check_interval_seconds 的值。例如:

      1
      2
      3
      cumulative_compaction_num_threads_per_disk = 4
      base_compaction_num_threads_per_disk = 2
      cumulative_compaction_check_interval_seconds = 2
    • 对于主键表,可以适当调大 update_compaction_num_threads_per_disk 的值。适当调小 update_compaction_per_tablet_min_interval_seconds 的值。

    修改完成后,需要观察内存和 I/O,确保内存和 I/O 正常。

curl -XPOST http://172.20.85.188:8040/api/update_config?tablet_max_versions=10000

动态修改分桶是生效的

1
ALTER TABLE BAOFOO_CM_V2.cm_entry_asy_ma SET ("dynamic_partition.buckets" = "9")

动态修改分区周期是生效的,

1
2
3
4
5
ALTER TABLE test_db.`yq_protocol_payment_order2` SET ("dynamic_partition.time_unit" = "month");

ALTER TABLE test_db.`yq_protocol_payment_order2` SET ("dynamic_partition.enable" = "false");
ALTER TABLE test_db.`yq_protocol_payment_order2` ADD PARTITIONS START ("2022-01-10") END ("2025-01-01") EVERY (interval 1 month);
ALTER TABLE test_db.`yq_protocol_payment_order2` SET ("dynamic_partition.enable" = "true");

START (“2022-01-10”) END (“2025-01-01”) EVERY (interval 1 month) 这种方式添加分区要注意周期的结束时间

但是要注意结束的周期, 必须手动补全缺失的分区

阅读全文 »

前面提到过,我们可以为分区设置单独的存储策略,比如增加分区时使用新的副本数:

1
2
3
ALTER TABLE starrocks.table07
ADD PARTITION p20210313 VALUES LESS THAN ("2021-03-14")
("replication_num"="1");

修改分区副本数:

1
2
ALTER TABLE starrocks.table07
MODIFY PARTITION p20210313 SET("replication_num"="2");

修改表的默认副本数量,新建分区副本数量默认使用此值:

1
2
ALTER TABLE starrocks.table07
SET ("default.replication_num" = "2");

修改单分区表的实际副本数量(只限单分区表):

1
2
ALTER TABLE starrocks.table06
SET ("replication_num" = "1");

修改表所有分区的副本数:

1
2
3
ALTER TABLE starrocks.table01
MODIFY PARTITION(*)
SET ("replication_num" = "3");
阅读全文 »

CDH 5.13升级到5.16

本篇章节主要介绍如何从CDH 5.13升级到5.16版本,此步骤也可以借鉴用来作其他CDH版本升级的指导。

首先,准备CDH 5.16的安装包,包括CM 5.16的rpm包,及CDH 5.16的parcel包。

1
2
3
4
5
6
7
8
//parcel包
-rw-r--r-- 1 root root 2132782197 Oct 14 16:01 CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel
-rw-r--r-- 1 root root 41 Oct 14 16:01 CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha
//CM安装包
cloudera-manager-agent-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm
cloudera-manager-server-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm
cloudera-manager-daemons-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm
cloudera-manager-server-db-2-5.16.2-1.cm5162.p0.7.el7.x86_64.rpm repodata

配置临时http服务及本地yum源
进入到cm rpm安装包所在的目录,执行命令

1
2
3
yum install -y createrepo
createrepo .
python -m SimpleHTTPServer 8900 &

,启动http服务监听,端口为8900
配置本地yum源,添加cm_local.repo文件到/etc/yum.repos.d/目录下,内容如下,

1
2
3
4
5
[cm_local] 
name=cm_local
baseurl=http://192.168.81.50:8900/
enabled=1
gpgcheck=0

将此文件复制到集群每个节点

停止所有节点的Hadoop服务及cm server及cm agent服务
从7180网页中停止Hadoop集群服务
使用以下命令停止cm server及agent服务

阅读全文 »

[clickhouse]
172.20.85.[111:113]
172.20.85.[138:142]

[fe]
172.20.85.[111:113]

[be]
172.20.85.[138:142]

1
2
ansible clickhouse -m copy -a "src=/root/.bashrc dest=/root/.bashrc "
ansible clickhouse -m shell -a "java -version "
1
2
3
ansible clickhouse -m shell -a "yum install -y rsync  "
ansible clickhouse -m synchronize -a "src=/opt/module/StarRocks dest=/opt/module/"
ansible clickhouse -m shell -a " ls /opt/module/StarRocks "

fe部署

第一次启动需指定–helper参数,后续再启动无需指定此参数
sh /opt/module/StarRocks/fe/bin/start_fe.sh --helper 172.20.85.111:9010 --daemon

1
2
ansible fe -m shell -a " sh /opt/module/StarRocks/fe/bin/stop_fe.sh "
ansible fe -m shell -a " sh /opt/module/StarRocks/fe/bin/start_fe.sh --daemon "
1
2
3
4
5
6
mysql -h 127.0.0.1 -P9030 -uroot -p
mysql> SHOW PROC '/frontends'\G
ALTER SYSTEM ADD FOLLOWER "172.20.85.112:9010";
ALTER SYSTEM ADD FOLLOWER "172.20.85.142:9010";
# ALTER SYSTEM DROP FOLLOWER "172.20.85.142:9010";
ALTER SYSTEM ADD OBSERVER "172.20.85.113:9010";

be 部署

阅读全文 »

在vim保存时获得sudo权限

在维护线上服务的时候,经常要编辑一些不属于操作用户的文件,就是只有r权限的那种,每次保存都会提示read only。只能先记下来改了什么,然后再退出,然后 sudo vim 再做保存。

下面的命令可以不退出vim进程,直接用vim命令获取sudo权限,然后直接保存文件。

1
:w !  sudo  tee  %

命令:w !{cmd},让 vim 执行一个外部命令{cmd},然后把当前缓冲区的内容从 stdin 传入。

tee 是一个把 stdin 保存到文件的小工具。

而 %,是vim当中一个只读寄存器的名字,总保存着当前编辑文件的文件路径。

所以执行这个命令,就相当于从vim外部修改了当前编辑的文件。

执行:w ! sudo tee %后,会提示输入密码,之后再选择重新加载文件,即可看到保存后的文件

阅读全文 »