分享知识,分享快乐

0%

Alluxio常用操作

Alluxio常用操作

启动一个Alluxio集群

格式化Alluxio

在首次启动Alluxio之前,必须先格式化日志。

格式化日记将删除Alluxio中的所有元数据。 但是,格式化不会涉及底层存储的数据。

在master节点上,使用以下命令格式化Alluxio:

1
$ ./bin/alluxio formatMaster

启动Alluxio

启动Alluxio集群,在master点上确保conf/workers文件中所有worker的主机名都是正确的。

在master点上,运行以下命令启动Alluxio集群:

1
$ ./bin/alluxio-start.sh all SudoMount

这将在此节点上启动master,并在conf/workers文件中指定的所有节点上启动所有workers。 SudoMount参数使workers可以尝试使用sudo特权(如果尚未挂载)来挂载RamFS。

验证Alluxio集群是否在运行

要验证Alluxio是否正在运行,请访问http://<alluxio_master_hostname>:19999以查看Alluxio master的状态页面。

Alluxio带有一个简单的程序可以在Alluxio中读写示例文件。 使用以下命令运行示例程序:

1
$ ./bin/alluxio runTests

以下是在Alluxio集群上执行的常见操作。

停止Alluxio

停止一个Alluxio服务,运行:

1
$ ./bin/alluxio-stop.sh all

这将停止conf/workersconf/masters中列出的所有节点上的所有进程。

可以使用以下命令仅停止master和workers:

1
2
$ ./bin/alluxio-stop.sh masters # 停止所有conf/masters的masters
$ ./bin/alluxio-stop.sh workers # 停止所有conf/workers的workers

如果不想使用ssh登录所有节点来停止所有进程,可以在每个节点上运行命令以停止每个组件。 对于任何节点,可以使用以下命令停止master或worker:

1
2
$ ./bin/alluxio-stop.sh master # 停止本地master
$ ./bin/alluxio-stop.sh worker # 停止本地worker

重新启动Alluxio

与启动Alluxio类似。 如果已经配置了conf/workersconf/masters,可以使用以下命令启动集群:

1
$ ./bin/alluxio-start.sh all

可以使用以下命令仅启动masters或workers:

1
2
$ ./bin/alluxio-start.sh masters # 启动conf/masters中全部的master
$ ./bin/alluxio-start.sh workers # 启动conf/workers中全部的worker

如果不想使用ssh登录所有节点来启动所有进程,可以在每个节点上运行命令以启动每个组件。 对于任何节点,可以使用以下命令启动master或worker:

1
2
$ ./bin/alluxio-start.sh master # 启动本地master
$ ./bin/alluxio-start.sh worker # 启动本地worker

格式化日志

在任何master节点上,运行以下命令格式化Alluxio日志:

1
$ ./bin/alluxio formatMaster

格式化日记将删除Alluxio中的所有元数据。 但是,将不会触及底层存储的数据。

动态添加/减少worker

动态添加worker到Alluxio集群就像通过适当配置启动新Alluxio worker进程一样简单。 在大多数情况下,新worker配置应与所有其他worker配置相同。 在新worker上运行以下命令,以将其添加到集群。

1
$ ./bin/alluxio-start.sh worker SudoMount # 启动本地 worker

一旦worker启动,它将在Alluxio master上注册,并成为Alluxio集群的一部分。

减少worker只需要简单停止一个worker进程。

1
$ ./bin/alluxio-stop.sh worker # 停止本地 worker

一旦worker被停止,master将在预定的超时值(通过master参数alluxio.master.worker.timeout配置)后将此worker标记为缺失。 主机视worker为”丢失”,并且不再将其包括在集群中。

更新master配置

为了更新master配置,必须首先停止服务,更新master节点上的conf/alluxio-site.properties文件,并将文件复制到所有节点(例如,使用bin/alluxio copyDir conf/),然后重新启动服务

更新worker配置

如果只需要为worker节点更新某些本地配置(例如,更改分配给该worker的存储容量或更新存储路径),则无需停止并重新启动master节点。 可以只停止本地worker,更新此worker上的配置(例如conf/alluxio-site.properties)文件,然后重新启动此worker