解决spark streaming长时间运行日志不断增长问题
1 | log4j.rootLogger=WARN,stdout,A1 |
1 | !/bin/bash |
1 | nohup sh ./stream_CbDimStreamDriver.sh > /dev/null 2>&1 |
参考: http://mkuthan.github.io/blog/2016/09/30/spark-streaming-on-yarn/
分享知识,分享快乐
1 | log4j.rootLogger=WARN,stdout,A1 |
1 | #!/bin/bash |
1 | nohup sh ./stream_CbDimStreamDriver.sh > /dev/null 2>&1 |
参考: http://mkuthan.github.io/blog/2016/09/30/spark-streaming-on-yarn/
-移动数据 交易 路由 网络
具体场景;
挂载全球文件
版本管理功能
数据库
加密平台
各种类型cdn
永久访问的链接
ipfs init
Error: cannot acquire lock: can't lock file
删除其后边给出的repo.lock文件即可ipfs id
查看当前节点id等信息ipfs config show
ipfs配置信息ipfs daemon
从官网下载hbck2 执行文件
http://hbase.apache.org/downloads.html
cdh官网的使用帮助
1 | cd /opt/hbase-operator-tools-1.0.0/hbase-hbck2 |
移动表的数据到另外一个服务器
1 | # 语法:move 'encodeRegionName', 'ServerName'`` |
周末 CDH6.3 的集群断电,导致 HBase 出现 RIT 状态。
赶紧把之前学的 hbck2 的知识实践顺便回顾下
将项目拉取到本地 git clone https://github.com/apache/hbase-operator-tools.git --depth 1
编译出jar包上传到集群上 mvn clean package -Dmaven.skip.test=true
CDH 集群的话将其上传至/opt/cloudera/parcels/CDH/lib/hbase/lib
路径下
1 | hbase org.apache.hbase.HBCK2 <命令> |
结果当头一棒,不支持 2.1.0-cdh6.3.1
默认情况下mysql
的数据路径应该在
1 | # cd /var/lib/mysql |
现在我们要将它转移到/data
1 | # service mysql stop |
data
目录下1 | # mv /var/lib/mysql /data/ |
# vi /etc/my.cnf
文件,增加以下行1 | datadir = /data/mysql |
# vi /etc/init.d/mysql
文件,增加以下行hexo 常用命令 :
1 | $ hexo generate (hexo g) 生成静态文件 |
其他参考:
5分钟搞定个人博客-hexo https://www.jianshu.com/p/390f202c5b0e
换终端更新hexo博客 https://www.jianshu.com/p/6a29f5243ab4
如果你想在当前目录下 查找"hello,world!"字符串,可以这样:
1 | grep -rn "hello,world!" * |
*
: 表示当前目录所有文件,也可以是某个文件名
grep -i pattern files :不区分大小写地搜索。默认情况区分大小写,
grep -l pattern files :只列出匹配的文件名,
grep -L pattern files :列出不匹配的文件名,
grep -w pattern files :只匹配整个单词,而不是字符串的一部分(如匹配‘magic’,而不是‘magical’),
grep -C number pattern files :匹配的上下文分别显示[number]行,
grep pattern1 | pattern2 files :显示匹配 pattern1 或 pattern2 的行,
grep pattern1 files | grep pattern2 :显示既匹配 pattern1 又匹配 pattern2 的行。
< 和 > 分别标注单词的开始与结尾。
坑一:新加节点 必须关掉TLS ,但是关不到
参考官网
https://www.cloudera.com/documentation/enterprise/6/6.1/topics/cm_mc_adding_hosts.html
使用“添加主机向导”添加主机
您可以使用“添加主机”向导在主机上安装CDH,Impala和Cloudera Manager Agent。
分析:
https://www.cloudera.com/documentation/enterprise/6/6.1/topics/install_cm_server.html
由于安装的时候设置了
如果你正准备从0开始搭建一套CDH集群应用于生产环境,那么此时需要做的事情应该是 结合当前的数据、业务、硬件、节点、服务等对集群做合理的规划,而不是马上动手去安装软件。
合理的集群规划应该做到以下几点:
以上步骤完成之后才是动手进行安装与部署。
你将会对集群的架构模式、应用方向与业务场景了然于胸,并确保这个集群(或者是集群组)能够提供稳定、高效、高性能的服务,为业务保驾护航。
并有能力能够提供 集群建设目标:
性能需求
可靠性需求:每月宕机次数(<1),每月宕机时间(<10min)
可用性:每台机器每月的宕机时间
容错性:机器故障,数据不丢失
硬件规划决定集群将使用多少硬件资源,以及什么配置的硬件资源。