centos7安装influxdb
更改存储路径时,记得给路径权限, 不然数据写不进
1 | [root@cdh85-99 influxdb]# chown influxdb:influxdb -R data/ |
分享知识,分享快乐
更改存储路径时,记得给路径权限, 不然数据写不进
1 | [root@cdh85-99 influxdb]# chown influxdb:influxdb -R data/ |
要在obd服务器上操作:
登录 OBD 宿主机。
执行如下命令,使环境变量生效。
1 | wget https://obbusiness-private.oss-cn-shanghai.aliyuncs.com/download-center/opensource/oceanbase-all-in-one/7/x86_64/oceanbase-all-in-one-4.3.3.1_20241023.el7.x86_64.tar.gz |
obd web upgrade
,在返回信息中获取升级向导页面的 IP 地址。 (升级的地址不一定是ocp-server的地址)数据库升级软件包目录:
1 | /home/root/software/sys-package |
yum install -y sudo vi less which wget net-tools fontconfig libaio hwloc libpciaccess lsof perl-Data-Dumper perl lz4 libunwind libev zstd
把包上传到10.0.19.151 上然后执行 tar -zxvf dmpother.tar.gz -C /data/umc/components/ 就可以了
/opt/mysql/base/5.7.25/bin/mysql -uroot -p -P3306 -h10.0.19.151 #mysql-jfdfh6 #10.0.19.151:3306 #mysql-g001
mysql-g003
caZgcDQG-85lJS=@
mysql-g002
vjE$v-+h2PJq4OCe
mysql-g001
_qx%Xc$$+X-934$*
mysql-g004
HiqxgHl0ho@#_=Xw
https://www.cnblogs.com/f-ck-need-u/p/9279703.html
1 | sysbench --mysql-host=10.0.19.47 \ |
用户无法在yarn集群上提交任务
解决方案:
关闭所有的ResourceManager进程
通过zk客户端查看
sh /opt/cloudera/parcels/CDH/lib/zookeeper/bin/zkCli.sh
ls /rmstore/ZKRMStateRoot/RMAppRoot 目录下
不为空则使用该命令 rmr /rmstore/ZKRMStateRoot/RMAppRoot 删除目录文件
删除完再启动ResourceManager恢复正常
此种方式是将ZK中需要RM恢复的任务清空实现的,即RM不恢复正在运行的任务,会导致集群正在运行的任务停止
原文链接:https://blog.csdn.net/anguoan/article/details/128613672
用户无法在yarn集群上提交任务
解决方案:
关闭所有的ResourceManager进程
通过zk客户端查看
sh /opt/cloudera/parcels/CDH/lib/zookeeper/bin/zkCli.sh
ls /rmstore/ZKRMStateRoot/RMAppRoot 目录下
不为空则使用该命令 rmr /rmstore/ZKRMStateRoot/RMAppRoot 删除目录文件
删除完再启动ResourceManager恢复正常
此种方式是将ZK中需要RM恢复的任务清空实现的,即RM不恢复正在运行的任务,会导致集群正在运行的任务停止
原文链接:https://blog.csdn.net/anguoan/article/details/128613672
上述报错是因为导入频率太快,数据没能及时合并 (Compaction) ,从而导致版本数超过支持的最大未合并版本数。默认支持的最大未合并版本数为 1000。可以通过如下方法解决上述报错:
增大单次导入的数据量,降低导入频率。
修改 BE 配置文件 be.conf 中相关参数的配置,以加快 Compaction:
对于明细表、聚合表和更新表,可以适当调大 cumulative_compaction_num_threads_per_disk
、base_compaction_num_threads_per_disk
和 cumulative_compaction_check_interval_seconds
的值。例如:
1 | cumulative_compaction_num_threads_per_disk = 4 |
对于主键表,可以适当调大 update_compaction_num_threads_per_disk
的值。适当调小 update_compaction_per_tablet_min_interval_seconds
的值。
修改完成后,需要观察内存和 I/O,确保内存和 I/O 正常。
curl -XPOST http://172.20.85.188:8040/api/update_config?tablet_max_versions=10000
动态修改分桶是生效的
1 | ALTER TABLE BAOFOO_CM_V2.cm_entry_asy_ma SET ("dynamic_partition.buckets" = "9") |
动态修改分区周期是生效的,
1 | ALTER TABLE test_db.`yq_protocol_payment_order2` SET ("dynamic_partition.time_unit" = "month"); |
START (“2022-01-10”) END (“2025-01-01”) EVERY (interval 1 month) 这种方式添加分区要注意周期的结束时间
但是要注意结束的周期, 必须手动补全缺失的分区
前面提到过,我们可以为分区设置单独的存储策略,比如增加分区时使用新的副本数:
1 | ALTER TABLE starrocks.table07 |
修改分区副本数:
1 | ALTER TABLE starrocks.table07 |
修改表的默认副本数量,新建分区副本数量默认使用此值:
1 | ALTER TABLE starrocks.table07 |
修改单分区表的实际副本数量(只限单分区表):
1 | ALTER TABLE starrocks.table06 |
修改表所有分区的副本数:
1 | ALTER TABLE starrocks.table01 |
本篇章节主要介绍如何从CDH 5.13升级到5.16版本,此步骤也可以借鉴用来作其他CDH版本升级的指导。
首先,准备CDH 5.16的安装包,包括CM 5.16的rpm包,及CDH 5.16的parcel包。
1 | //parcel包 |
配置临时http服务及本地yum源
进入到cm rpm安装包所在的目录,执行命令
1 | yum install -y createrepo |
,启动http服务监听,端口为8900
配置本地yum源,添加cm_local.repo文件到/etc/yum.repos.d/目录下,内容如下,
1 | [cm_local] |
将此文件复制到集群每个节点
停止所有节点的Hadoop服务及cm server及cm agent服务
从7180网页中停止Hadoop集群服务
使用以下命令停止cm server及agent服务
[clickhouse]
172.20.85.[111:113]
172.20.85.[138:142]
[fe]
172.20.85.[111:113]
[be]
172.20.85.[138:142]
1 | ansible clickhouse -m copy -a "src=/root/.bashrc dest=/root/.bashrc " |
1 | ansible clickhouse -m shell -a "yum install -y rsync " |
第一次启动需指定–helper参数,后续再启动无需指定此参数
sh /opt/module/StarRocks/fe/bin/start_fe.sh --helper 172.20.85.111:9010 --daemon
1 | ansible fe -m shell -a " sh /opt/module/StarRocks/fe/bin/stop_fe.sh " |
1 | mysql -h 127.0.0.1 -P9030 -uroot -p |
在维护线上服务的时候,经常要编辑一些不属于操作用户的文件,就是只有r权限的那种,每次保存都会提示read only。只能先记下来改了什么,然后再退出,然后 sudo vim 再做保存。
下面的命令可以不退出vim进程,直接用vim命令获取sudo权限,然后直接保存文件。
1 | :w ! sudo tee % |
命令:w !{cmd},让 vim 执行一个外部命令{cmd},然后把当前缓冲区的内容从 stdin 传入。
tee 是一个把 stdin 保存到文件的小工具。
而 %,是vim当中一个只读寄存器的名字,总保存着当前编辑文件的文件路径。
所以执行这个命令,就相当于从vim外部修改了当前编辑的文件。
执行:w !
sudo
tee
%后,会提示输入密码,之后再选择重新加载文件,即可看到保存后的文件