分享知识，分享快乐

0%

发表于

配置虚拟IP

/sbin/ifconfig bond0:2 172.20.192.241 netmask 255.255.255.0 up

广播通知

/sbin/arping -c 5 -U -I bond0 172.20.192.241 >/dev/null 2>&1

关闭虚拟IP

/sbin/ifconfig bond0:2 172.20.192.241 netmask 255.255.255.0 down

阅读全文 »

发表于

https://sslover.me/2022/03/15/trino-deploy-tutorials/

开启 TLS 支持

当采用用户名/密码的方式进行认证时，Trino 强制要求我们使用 TLS，所以我们需要对其进行配置。

首先我们需要创建 HTTPS 证书，由于是本地测试，所以我们直接自己签发一个。Trino 支持 PEM 文件和 JKS 文件，我们使用标准的 PEM 文件进行配置。

1
2
3
4
5
6
7
8
9
10
11
# 生成私钥
[root@cdh192-150 ssl]# openssl genrsa -out server.key 2048
# 生成 CSR 
[root@cdh192-150 ssl]# openssl req -new -key server.key -out server.csr
# 自己派发证书
[root@cdh192-150 ssl]# openssl x509 -req -days 36500 -in server.csr -signkey server.key -out server.crt
# 生成 PEM 格式文件
[root@cdh192-150 ssl]# cat server.key server.crt > server.pem
# 校验 PEM 文件
[root@cdh192-150 ssl]# openssl rsa -in server.pem -check -noout
[root@cdh192-150 ssl]# openssl x509 -in server.pem -text -noout

生成完证书后，在 config.properties 文件中添加如下配置即可开启 TLS 支持：

1
2
3
4
5
6
7
8
# 开启 https
http-server.https.enabled=true
# 指定 https 端口
http-server.https.port=8443
# 指定证书文件
http-server.https.keystore.path=/opt/module/trino-server-405/etc/ssl/server.pem
# 开启web-ui访问 
http-server.authentication.allow-insecure-over-http=true

最后修改 JDBC 连接地址，由于是自签证书，所以我们需要关闭证书校验：

1
jdbc:trino://127.0.0.1:8443?SSL=true&SSLVerification=NONE

同理，CLI 命令修改为：

阅读全文 »

发表于

Alluxio常用操作

启动一个Alluxio集群

格式化Alluxio

在首次启动Alluxio之前，必须先格式化日志。

格式化日记将删除Alluxio中的所有元数据。 但是，格式化不会涉及底层存储的数据。

在master节点上，使用以下命令格式化Alluxio：

1
$ ./bin/alluxio formatMaster

启动Alluxio

启动Alluxio集群，在master点上确保conf/workers文件中所有worker的主机名都是正确的。

在master点上，运行以下命令启动Alluxio集群：

阅读全文 »

发表于

准备
下载文件：wget https://downloads.alluxio.io/downloads/files/2.9.2/alluxio-2.9.2-bin.tar.gz

解压目录：/opt/servers/alluxio

1
2
wget https://downloads.alluxio.io/downloads/files/2.9.2/alluxio-2.9.2-bin.tar.gz
tar -xzf alluxio-2.9.2-bin.tar.gz -C /opt/servers/alluxio

创建目录：mkdir -p /mnt/ramdisk

机器：10.0.21.190（master，worker）10.0.21.191（master，worker）10.0.21.192（worker）

HA 配置

搭建高可用集群前的准备:

  • ①确保Zookeeper服务已经运行

  • ②一个单独安装的可靠的共享日志存储系统(可用HDFS或S3等系统)

  • ③这个配置针对Alluxio 2.x版本，不适用于1.x版本

  • ④需要事先创建好ramdisk挂载目录

配置hive alluxio文件系统：core-site.xml

1
2
3
4
5
6
7
8
9
10
11
12
<configuration>
  <property>
      <name>fs.alluxio.impl</name>
      <value>alluxio.hadoop.FileSystem</value>
      <description>The Alluxio FileSystem (Hadoop 1.x and 2.x)</description>
  </property>
  <property>
      <name>fs.AbstractFileSystem.alluxio.impl</name>
      <value>alluxio.hadoop.AlluxioFileSystem</value>
      <description>The Alluxio AbstractFileSystem (Hadoop 2.x)</description>
  </property>
</configuration>
阅读全文 »

发表于

[clickhouse]
172.20.85.[111:113]
172.20.85.[138:142]

[fe]
172.20.85.[111:113]

[be]
172.20.85.[138:142]

1
2
ansible clickhouse -m copy -a "src=/root/.bashrc dest=/root/.bashrc "
ansible clickhouse -m shell -a "java -version  "
1
2
3
ansible clickhouse -m shell -a "yum install -y rsync  "
ansible clickhouse  -m synchronize  -a "src=/opt/module/StarRocks dest=/opt/module/"  
ansible clickhouse -m shell -a " ls /opt/module/StarRocks "

fe部署

第一次启动需指定–helper参数，后续再启动无需指定此参数
sh /opt/module/StarRocks/fe/bin/start_fe.sh --helper 172.20.85.111:9010 --daemon

1
2
ansible fe -m shell -a " sh /opt/module/StarRocks/fe/bin/stop_fe.sh "
ansible fe -m shell -a " sh /opt/module/StarRocks/fe/bin/start_fe.sh --daemon "
1
2
3
4
5
6
mysql -h 127.0.0.1 -P9030 -uroot -p
mysql> SHOW PROC '/frontends'\G
ALTER SYSTEM ADD FOLLOWER "172.20.85.112:9010";
ALTER SYSTEM ADD FOLLOWER "172.20.85.142:9010";
# ALTER SYSTEM DROP FOLLOWER "172.20.85.142:9010";
ALTER SYSTEM ADD OBSERVER "172.20.85.113:9010";

be 部署

阅读全文 »

发表于

CDH 6.3.2 集成 flink 1.14.6

制作Flink的parcel包和csd文件

1. 下载制作脚本

1
2
3
# 克隆源码
git clone https://github.com/pkeropen/flink-parcel.git
cd flink-parcel

2 修改参数

vim flink-parcel.properties

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#FLINK 下载地址
FLINK_URL=https://archive.apache.org/dist/flink/flink-1.14.6/flink-1.14.6-bin-scala_2.12.tgz

#flink版本号
FLINK_VERSION=1.14.6

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.12

#操作系统版本，以centos为例
OS_VERSION=7

#CDH 小版本
CDH_MIN_FULL=5.13.1
CDH_MAX_FULL=6.3.2

#CDH大版本
CDH_MIN=5
CDH_MAX=6

4 编译parcel

1
2
3
4
# 赋予执行权限
chmod +x ./build.sh
# 执行编译脚本
./build.sh parcel

编译完会在flink-parcel项目根目录下生成_build文件夹

阅读全文 »

发表于

内网穿透

花生壳的http不能免费使用了，网上找了资料实测下面这2款可以用

localhost.run

http://localhost.run/

1、这个使用最简单，不需要下载任何软件，简单一行ssh命令就行。

1
ssh -R 80:localhost:8080 nokey@localhost.run
1
2
3
4
5
-R命令表示反向端口转发
80是被指定的转发端口
localhost是你局域网ip地址（对应127.0.0.1）
8080是你的局域网端口号
nokey@localhost.run是一台处在公网的服务器

FastTunnel

https://suidao.io/

  1. 在个人中心获取用于客户端登录的AccessKey
  2. 在创建隧道页面，创建需要穿透的隧道信息。
  3. 下载并启动客户端软件, 根据提示录入AccessKey进行登录, 登录成功后根据映射信息提示进行访问你的服务。
阅读全文 »