Alluxio常用操作
启动一个Alluxio集群
格式化Alluxio
在首次启动Alluxio之前,必须先格式化日志。
格式化日记将删除Alluxio中的所有元数据。 但是,格式化不会涉及底层存储的数据。
在master节点上,使用以下命令格式化Alluxio:
1 | $ ./bin/alluxio formatMaster |
启动Alluxio
启动Alluxio集群,在master点上确保conf/workers
文件中所有worker的主机名都是正确的。
在master点上,运行以下命令启动Alluxio集群:
1 | $ ./bin/alluxio-start.sh all SudoMount |
这将在此节点上启动master,并在conf/workers
文件中指定的所有节点上启动所有workers。 SudoMount
参数使workers可以尝试使用sudo
特权(如果尚未挂载)来挂载RamFS。
验证Alluxio集群是否在运行
要验证Alluxio是否正在运行,请访问http://<alluxio_master_hostname>:19999
以查看Alluxio master的状态页面。
Alluxio带有一个简单的程序可以在Alluxio中读写示例文件。 使用以下命令运行示例程序:
1 | $ ./bin/alluxio runTests |
以下是在Alluxio集群上执行的常见操作。
停止Alluxio
停止一个Alluxio服务,运行:
1 | $ ./bin/alluxio-stop.sh all |
这将停止conf/workers
和conf/masters
中列出的所有节点上的所有进程。
可以使用以下命令仅停止master和workers:
1 | $ ./bin/alluxio-stop.sh masters # 停止所有conf/masters的masters |
如果不想使用ssh登录所有节点来停止所有进程,可以在每个节点上运行命令以停止每个组件。 对于任何节点,可以使用以下命令停止master或worker:
1 | $ ./bin/alluxio-stop.sh master # 停止本地master |
重新启动Alluxio
与启动Alluxio类似。 如果已经配置了conf/workers
和conf/masters
,可以使用以下命令启动集群:
1 | $ ./bin/alluxio-start.sh all |
可以使用以下命令仅启动masters或workers:
1 | $ ./bin/alluxio-start.sh masters # 启动conf/masters中全部的master |
如果不想使用ssh
登录所有节点来启动所有进程,可以在每个节点上运行命令以启动每个组件。 对于任何节点,可以使用以下命令启动master或worker:
1 | $ ./bin/alluxio-start.sh master # 启动本地master |
格式化日志
在任何master节点上,运行以下命令格式化Alluxio日志:
1 | $ ./bin/alluxio formatMaster |
格式化日记将删除Alluxio中的所有元数据。 但是,将不会触及底层存储的数据。
动态添加/减少worker
动态添加worker到Alluxio集群就像通过适当配置启动新Alluxio worker进程一样简单。 在大多数情况下,新worker配置应与所有其他worker配置相同。 在新worker上运行以下命令,以将其添加到集群。
1 | $ ./bin/alluxio-start.sh worker SudoMount # 启动本地 worker |
一旦worker启动,它将在Alluxio master上注册,并成为Alluxio集群的一部分。
减少worker只需要简单停止一个worker进程。
1 | $ ./bin/alluxio-stop.sh worker # 停止本地 worker |
一旦worker被停止,master将在预定的超时值(通过master参数alluxio.master.worker.timeout
配置)后将此worker标记为缺失。 主机视worker为”丢失”,并且不再将其包括在集群中。
更新master配置
为了更新master配置,必须首先停止服务,更新master节点上的conf/alluxio-site.properties
文件,并将文件复制到所有节点(例如,使用bin/alluxio copyDir conf/
),然后重新启动服务。
更新worker配置
如果只需要为worker节点更新某些本地配置(例如,更改分配给该worker的存储容量或更新存储路径),则无需停止并重新启动master节点。 可以只停止本地worker,更新此worker上的配置(例如conf/alluxio-site.properties
)文件,然后重新启动此worker