分享知识，分享快乐

0%

发表于

有道笔记文件备份

阅读全文 »

发表于

IPFS音乐播放器

IPFS相关

IPFS第一次亲密接触

  • 什么是IPFS
  • IPFS对比HTTP/FTP等协议的优势
  • IPFS应用场景

-移动数据 交易 路由 网络

  • 定义数据 命名
  • 使用数据

具体场景;
挂载全球文件
版本管理功能
数据库
加密平台
各种类型cdn
永久访问的链接

ipfs入门

  • 官网地址：https://ipfs.io
  • 下载安装：https://dist.ipfs.io/#go-ipfs
  • 节点初始化
    • ipfs init
    • 如果出现Error: cannot acquire lock: can't lock file删除其后边给出的repo.lock文件即可
  • 节点配置
    • ipfs id 查看当前节点id等信息
    • ipfs config show ipfs配置信息
  • 节点服务器daemon
    • ipfs daemon
  • 修改IPFS默认路径
  • 开放API请求
    • ipfs config --json Addresses.API ‘"/ip4/0.0.0.0/tcp/5001"’
  • 开放公共网关
    • ipfs config --json Addresses.Gateway ‘"/ip4/0.0.0.0/tcp/8080"’

发布数据

阅读全文 »

发表于

hbase-hbck2

从官网下载hbck2 执行文件

http://hbase.apache.org/downloads.html

或 wget https://www.apache.org/dyn/closer.lua/hbase/hbase-operator-tools-1.0.0/hbase-operator-tools-1.0.0-bin.tar.gz

cdh官网的使用帮助

https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_hbase_hbck.html#concept_hkk_q25_llb

1
2
3
4
5
6
7
cd /opt/hbase-operator-tools-1.0.0/hbase-hbck2

hbase hbck -j hbase-hbck2-1.0.0.jar -s  assigns 1588230740

hbase hbck -j hbase-hbck2-1.0.0.jar -s  assigns hbase:namespace,,1594264903686.db55eec81d86ac0ae26eba718518ce26

hbase hbck -j hbase-hbck2-1.0.0.jar -s addFsRegionsMissingInMeta default:test n1:tbl_2 n2

hbase shell 实战

移动表的数据到另外一个服务器

1
2
3
# 语法：move 'encodeRegionName', 'ServerName'``
# encodeRegionName指的regioName后面的编码，ServerName指的是master-status的Region Servers列表
move '61a647884b761a785daf3b38049aaa27','bigdata-5.baofoo.cn,16020,1595233360076'
阅读全文 »

发表于

前言

周末 CDH6.3 的集群断电，导致 HBase 出现 RIT 状态。

赶紧把之前学的 hbck2 的知识实践顺便回顾下

过程

将项目拉取到本地 git clone https://github.com/apache/hbase-operator-tools.git --depth 1

编译出jar包上传到集群上 mvn clean package -Dmaven.skip.test=true

CDH 集群的话将其上传至/opt/cloudera/parcels/CDH/lib/hbase/lib路径下

使用

1
2
3
4
hbase org.apache.hbase.HBCK2 <命令>

# 验证是否可以使用
hbase org.apache.hbase.HBCK2 -v

结果当头一棒，不支持 2.1.0-cdh6.3.1

阅读全文 »

发表于

默认情况下mysql的数据路径应该在

1
# cd /var/lib/mysql

现在我们要将它转移到/data

  1. 停掉mysql服务
1
# service mysql stop
  1. 将原数据目录转移到data目录下
1
# mv /var/lib/mysql /data/
  1. 修改# vi /etc/my.cnf文件,增加以下行
1
2
datadir = /data/mysql
socket = /data/mysql/mysql.sock
  1. 修改# vi /etc/init.d/mysql文件,增加以下行
阅读全文 »

发表于

hexo 常用命令 ：

1
2
3
4
5
6
7
8
$ hexo generate (hexo g) 生成静态文件
$ hexo server (hexo s) 启动本地服务
$ hexo deploy (hexo d) 提交到远程仓库
$ hexo new page "xx"(hexo n page) 创建页面 
$ hexo new "xx" (hexo n "") 创建文章
$ hexo d -g 生成静态并提交到远程仓库
$ hexo s -g 生成静态文件并启动本地预览
$ hexo clean (hexo cl)清除本地 public 文件

其他参考：

5分钟搞定个人博客-hexo https://www.jianshu.com/p/390f202c5b0e

换终端更新hexo博客 https://www.jianshu.com/p/6a29f5243ab4

阅读全文 »

发表于

如果你想在当前目录下 查找"hello,world!"字符串,可以这样:

1
grep -rn "hello,world!" *

* : 表示当前目录所有文件，也可以是某个文件名

  • -r 是递归查找
  • -n 是显示行号
  • -R 查找所有文件包含子目录
  • -i 忽略大小写

下面是一些有意思的命令行参数：

grep -i pattern files ：不区分大小写地搜索。默认情况区分大小写，
grep -l pattern files ：只列出匹配的文件名，
grep -L pattern files ：列出不匹配的文件名，
grep -w pattern files ：只匹配整个单词，而不是字符串的一部分（如匹配‘magic’，而不是‘magical’），

grep -C number pattern files ：匹配的上下文分别显示[number]行，
grep pattern1 | pattern2 files ：显示匹配 pattern1 或 pattern2 的行，
grep pattern1 files | grep pattern2 ：显示既匹配 pattern1 又匹配 pattern2 的行。

这里还有些用于搜索的特殊符号：

< 和 > 分别标注单词的开始与结尾。

例如：

阅读全文 »

发表于

CDH6 新加节点，不能关掉 Auto-TLS 的解决办法

坑一：新加节点 必须关掉TLS ，但是关不到

参考官网

https://www.cloudera.com/documentation/enterprise/6/6.1/topics/cm_mc_adding_hosts.html

使用“添加主机向导”添加主机

您可以使用“添加主机”向导在主机上安装CDH，Impala和Cloudera Manager Agent。

  1. 禁用TLS加密或身份验证
  2. 在不禁用TLS的情况下安装Cloudera Manager Agent的替代方法
  3. 使用“添加主机向导”
  4. 启用TLS加密或身份验证
  5. 为CDH组件启用TLS / SSL
  6. 启用Kerberos

分析：

https://www.cloudera.com/documentation/enterprise/6/6.1/topics/install_cm_server.html

由于安装的时候设置了

阅读全文 »

发表于

一、集群规划

如果你正准备从0开始搭建一套CDH集群应用于生产环境，那么此时需要做的事情应该是 结合当前的数据、业务、硬件、节点、服务等对集群做合理的规划，而不是马上动手去安装软件。

合理的集群规划应该做到以下几点：

  • 充分了解当前的数据现状
  • 与业务方深入沟通，了解将会在集群上运行的业务，集群将会为业务提供什么服务
  • 结合数据现状与业务，合理预估未来的数据量增长
  • 盘点当前可用的硬件资源，包括机柜机架、服务器、交换机等
  • 当前硬件资源不充足的情况下，根据数据评估情况作出采购建议
  • 根据业务属性与组成，合理规划集群的部署架构
  • 根据可用硬件资源，对集群节点的服务角色进行合理划分

以上步骤完成之后才是动手进行安装与部署。

你将会对集群的架构模式、应用方向与业务场景了然于胸，并确保这个集群（或者是集群组）能够提供稳定、高效、高性能的服务，为业务保驾护航。

并有能力能够提供 集群建设目标：

  • 性能需求

    • 简单查询100G数据量时，耗时上限
    • 复杂查询（join）时，耗时上限
    • 历史数据导入时，耗时上限
    • 增量数据导入时，耗时上限

  • 可靠性需求：每月宕机次数（<1），每月宕机时间（<10min）

  • 可用性：每台机器每月的宕机时间

  • 容错性：机器故障，数据不丢失

1.1 硬件规划

硬件规划决定集群将使用多少硬件资源，以及什么配置的硬件资源。

阅读全文 »

发表于

Typora是一款轻便简洁的Markdown编辑器，支持即时渲染技术，这也是与其他Markdown编辑器最显著的区别。即时渲染使得你写Markdown就想是写Word文档一样流畅自如，不像其他编辑器的有编辑栏和显示栏。

对文字的特殊标注

标题

1
2
3
4
5
6
# 一阶标题  或者快捷键Ctrl+1
## 二阶标题 或者快捷键Ctrl+2
### 三阶标题    或者快捷键Ctrl+3
#### 四阶标题   或者快捷键Ctrl+4
##### 五阶标题  或者快捷键Ctrl+5
###### 六阶标题 或者快捷键Ctrl+6

下划线

1
<u>下划线的内容</u> 或按快捷键Ctrl+U

字体加粗

1
**加粗内容**    或按快捷键Ctrl+B

斜体

1
*倾斜内容*  或按快捷键Ctrl+I
阅读全文 »