解决spark streaming长时间运行日志不断增长问题

发表于 2020-10-12

解决spark streaming长时间运行日志不断增长问题

log4j.rootLogger=WARN,stdout,A1

log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Threshold=WARN
log4j.appender.stdout.encoding=UTF-8
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=[%d{yyyy-MM-dd HH:mm:ss,SSS}] %m %n[%d{yyyy-MM-dd HH:mm:ss,SSS}] %p | %F:%L | %M%n%n

log4j.appender.A1=org.apache.log4j.RollingFileAppender
log4j.appender.A1.BufferedIO=true
log4j.appender.A1.BufferSize=8192
log4j.appender.A1.File=${spark.yarn.app.container.log.dir}/stderr
log4j.appender.A1.MaxFileSize=10MB
log4j.appender.A1.MaxBackupIndex=9
log4j.appender.A1.encoding=UTF-8
log4j.appender.A1.Append=true
log4j.appender.A1.Threshold=ERROR
log4j.appender.A1.layout=org.apache.log4j.PatternLayout
log4j.appender.A1.layout.ConversionPattern=[%d{yyyy-MM-dd HH:mm:ss,SSS}] %m %n[%d{yyyy-MM-dd HH:mm:ss,SSS}] %p | %F:%L | %M%n%n

#!/bin/bash

echo  "================= spark job:CbDimStreamDriver  start!!!========================"

spark-submit \
--master yarn  \
--deploy-mode  cluster  \
--name  stream-rm-cb-dim  \
--queue bf_yarn_pool.production  \
--class com.baofu.rm.streaming.CbDimStreamDriver  \
--num-executors  32  \
--driver-memory  3G  \
--executor-memory  4G  \
--executor-cores  1  \
--conf spark.dynamicAllocation.enabled=false \
--conf spark.executor.extraJavaOptions=-XX:+UseConcMarkSweepGC \
--conf spark.streaming.backpressure.enabled=true \
--conf spark.streaming.kafka.maxRatePerPartition=1000 \
--conf spark.eventLog.enabled=false \
--conf spark.driver.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties \
--conf spark.executor.extraJavaOptions=-Dlog4j.configuration=file:log4j.properties \
--files ./log4j.properties \
/home/bf_app_spark/spark-jobs/streams/fxJob/cbdim/rm-streaming-analysis-pro.jar

rc=$?
if [[ $rc != 0 ]]; then
    echo "spark task: $0  failed,please check......"  
    exit 1
fi

echo "end run spark: `date "+%Y-%m-%d %H:%M:%S"`"  
echo "================== spark job:CbDimStreamDriver  end!!!===================="

1	nohup sh ./stream_CbDimStreamDriver.sh > /dev/null 2>&1

参考： http://mkuthan.github.io/blog/2016/09/30/spark-streaming-on-yarn/

阅读全文 »

有道笔记文件备份

发表于 2020-09-30

有道笔记文件备份

阅读全文 »

IPFS音乐播放器

发表于 2020-09-30

IPFS音乐播放器

IPFS相关

IPFS第一次亲密接触

什么是IPFS
IPFS对比HTTP/FTP等协议的优势
IPFS应用场景

-移动数据交易路由网络

定义数据命名
使用数据

具体场景;
挂载全球文件
版本管理功能
数据库
加密平台
各种类型cdn
永久访问的链接

ipfs入门

官网地址：https://ipfs.io
下载安装：https://dist.ipfs.io/#go-ipfs
节点初始化
- ipfs init
- 如果出现Error: cannot acquire lock: can't lock file删除其后边给出的repo.lock文件即可
节点配置
- ipfs id 查看当前节点id等信息
- ipfs config show ipfs配置信息
节点服务器daemon
- ipfs daemon
修改IPFS默认路径
开放API请求
- ipfs config --json Addresses.API ‘"/ip4/0.0.0.0/tcp/5001"’
开放公共网关
- ipfs config --json Addresses.Gateway ‘"/ip4/0.0.0.0/tcp/8080"’

发布数据

阅读全文 »

hbase常用命令操作实战

发表于 2020-09-11

hbase-hbck2

从官网下载hbck2 执行文件

http://hbase.apache.org/downloads.html

或 wget https://www.apache.org/dyn/closer.lua/hbase/hbase-operator-tools-1.0.0/hbase-operator-tools-1.0.0-bin.tar.gz

cdh官网的使用帮助

https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_hbase_hbck.html#concept_hkk_q25_llb

cd /opt/hbase-operator-tools-1.0.0/hbase-hbck2

hbase hbck -j hbase-hbck2-1.0.0.jar -s  assigns 1588230740

hbase hbck -j hbase-hbck2-1.0.0.jar -s  assigns hbase:namespace,,1594264903686.db55eec81d86ac0ae26eba718518ce26

hbase hbck -j hbase-hbck2-1.0.0.jar -s addFsRegionsMissingInMeta default:test n1:tbl_2 n2

hbase shell 实战

移动表的数据到另外一个服务器

1
2
3

# 语法：move 'encodeRegionName', 'ServerName'``
# encodeRegionName指的regioName后面的编码，ServerName指的是master-status的Region Servers列表
move '61a647884b761a785daf3b38049aaa27','bigdata-5.baofoo.cn,16020,1595233360076'

阅读全文 »

CDH-HBase 使用 HBCK2 运维

发表于 2020-08-27

前言

周末 CDH6.3 的集群断电，导致 HBase 出现 RIT 状态。

赶紧把之前学的 hbck2 的知识实践顺便回顾下

过程

将项目拉取到本地 git clone https://github.com/apache/hbase-operator-tools.git --depth 1

编译出jar包上传到集群上 mvn clean package -Dmaven.skip.test=true

CDH 集群的话将其上传至/opt/cloudera/parcels/CDH/lib/hbase/lib路径下

使用

hbase org.apache.hbase.HBCK2 <命令>

# 验证是否可以使用
hbase org.apache.hbase.HBCK2 -v

结果当头一棒，不支持 2.1.0-cdh6.3.1

阅读全文 »

Linux(CentOS7)修改mysql默认数据文件目录

发表于 2020-02-28

默认情况下mysql的数据路径应该在

1	# cd /var/lib/mysql

现在我们要将它转移到/data

停掉mysql服务

1	# service mysql stop

1	# mv /var/lib/mysql /data/

修改# vi /etc/my.cnf文件,增加以下行

1 2	datadir = /data/mysql socket = /data/mysql/mysql.sock

修改# vi /etc/init.d/mysql文件,增加以下行

阅读全文 »

hexo 常用命令

发表于 2020-02-25

hexo 常用命令：

$ hexo generate (hexo g) 生成静态文件
$ hexo server (hexo s) 启动本地服务
$ hexo deploy (hexo d) 提交到远程仓库
$ hexo new page "xx"(hexo n page) 创建页面 
$ hexo new "xx" (hexo n "") 创建文章
$ hexo d -g 生成静态并提交到远程仓库
$ hexo s -g 生成静态文件并启动本地预览
$ hexo clean (hexo cl)清除本地 public 文件

其他参考：

5分钟搞定个人博客-hexo https://www.jianshu.com/p/390f202c5b0e

换终端更新hexo博客 https://www.jianshu.com/p/6a29f5243ab4

阅读全文 »

Linux查找含有某字符串的所有文件

发表于 2020-02-25

如果你想在当前目录下查找"hello,world!"字符串,可以这样:

1	grep -rn "hello,world!" *

* : 表示当前目录所有文件，也可以是某个文件名

-r 是递归查找
-n 是显示行号
-R 查找所有文件包含子目录
-i 忽略大小写

下面是一些有意思的命令行参数：

grep -i pattern files ：不区分大小写地搜索。默认情况区分大小写，
grep -l pattern files ：只列出匹配的文件名，
grep -L pattern files ：列出不匹配的文件名，
grep -w pattern files ：只匹配整个单词，而不是字符串的一部分（如匹配‘magic’，而不是‘magical’），

grep -C number pattern files ：匹配的上下文分别显示[number]行，
grep pattern1 | pattern2 files ：显示匹配 pattern1 或 pattern2 的行，
grep pattern1 files | grep pattern2 ：显示既匹配 pattern1 又匹配 pattern2 的行。