hive建表create table xxx as select的问题
hive建表create table xxx as select的问题
create table xxx as select的方式创建的表默认存储格式是text,所以要注意了假如as select的是其他格式的比如RCFile,则可能会导致一行变多行的情况(因为RCFile格式的可能字段包含换行符等),所以必须要加上
create table xxx stored as RCFile as select…
所以使用这种方式建表注意加上指定的存储格式。
测试示例:
1 | drop table if exists decision_model.member_close_reason; |
正确的应该加上指定的存储格式。
1 | drop table if exists decision_model.member_close_reason; |
解决spark streaming长时间运行日志不断增长问题
解决spark streaming长时间运行日志不断增长问题
1 | log4j.rootLogger=WARN,stdout,A1 |
1 | #!/bin/bash |
1 | nohup sh ./stream_CbDimStreamDriver.sh > /dev/null 2>&1 |
参考: http://mkuthan.github.io/blog/2016/09/30/spark-streaming-on-yarn/
有道笔记文件备份
有道笔记文件备份
- (超详细,带你踩坑)linux_centos7_基于CDH6.0.1配置hive_on_tez_执行引擎(亲测有效).pdf
- 01需求分析.pdf
- 1.0_OpenLDAP安装文档开启tls,主主同步.pdf
- Alluxio_效果测试.pdf
- Apache设置反向代理转发端口.pdf
- CDH6_介绍,安装和测试.pdf
- CDH6不能关掉_Auto-TLS_的解决办法.pdf
- CDH6在安装agent时,提示安装失败无法接收_Agent发出的检测信号.pdf
- CDH6环境中Phoenix的搭建和使用.pdf
- CDH6部署文档(1).pdf
- CDH6部署文档.pdf
- CDH_5.10.2_安装kudu_和常见错误整理(1).pdf
- CDH_5.10.2_安装kudu_和常见错误整理.pdf
- CDH_交换内存警告问题解决.pdf
- CDH_的Cloudera_Manager免费与收费版的对比表_-Hi,王松柏-_博客园.pdf
- CDH元数据小结.pdf
- CDH启用Kerberos导致hdfs,yarn等页面无法访问解决.pdf
- CDH集成的KDC迁移至FreeIPA的Kerberos认证.pdf
- CDH集群搭建简介.pdf
- CDH集群时区问题.pdf
- CDH集群部署Livy.pdf
- Cannot_obtain_block_length_for_LocatedBlock故障分解决.pdf
- CentOS6.X_升级内核.pdf
- CentOS7上手动释放内存cache.pdf
- CentOS7下安装Anaconda3和Tensorflow.pdf
- Centos7装NVIDIA显卡驱动(GPU).pdf
- ClickHouse.pdf
- ClickHouse_部署与使用.pdf
- ClouderaManager_(cm)_时区问题.pdf
- Cloudera_Manager中安装部署Zeppelin服务.pdf
- Cloudera_Manager回退.pdf
- Cloudera平台软件体系结构.pdf
- Could_not_open_client_transport_with_JDBC_Uri_jdbchive2.pdf
- DataX_Hdfs_HA(高可用)配置支持.pdf
- ELK+filebeat_安装问题总结.pdf
- Elasticsearch5.0集群部署_问题总结.pdf
- FTP的方式访问CDH中HDFS文件.pdf
- Flink集群.pdf
- FreeIPA_常用命令整理.pdf
- FreeIPA部署及基本使用.pdf
- Full_GC__导致RegionServer挂了.pdf
- HBase2.0_强制删除表.pdf
- HBase_2.0.0_META_数据修复工具.pdf
- HBase_用phoenix创建二级索引.pdf
- HBase_疑难杂症诊治.pdf
- HBase数据块NotServingRegionException排查.pdf
- HBase运维实践.pdf
- HDFS分层存储.pdf
- [HIVE删除分区表FAILED_Execution_Error,_return_code_1…_MetaException(messageInvalid_p.pdf](http://www.ask3.cn/files/HIVE删除分区表FAILED_Execution_Error,_return_code_1…_MetaException(messageInvalid_p.pdf)
- Hadoop调优.pdf
- Hbase_数据迁移与还原.pdf
- Hbase权限控制.pdf
- Hbase自带压力测试命令.pdf
- Hive_SQL_Syntax_for_Use_with_Sentry.pdf
- Hive之——内部表与外部表相互相互转化.pdf
- Hive分区表新增字段.pdf
- Hive实现自增列.pdf
- Hive表中文乱码.pdf
- IIS内部服务器错误_dedecms生成静态页面超时解决方案.pdf
- IPFS音乐播放器.pdf
- Impala配置LDAP身份认证.pdf
- JanusGraph单机测试.pdf
- Kerberos常用命令.pdf
- Linux_命令积累.pdf
- Linux_给文件内容添加_文件头.pdf
- Linux下使用Webmin搭建DNS服务器而不是hosts文件解析主机名.pdf
- Linux下更改转移mysql数据库目录.pdf
- Livy_多用户使用.pdf
- NFS异常导致Host_Monitor及Agent服务错误.pdf
- Navicat_for_MySQL_快捷键.pdf
- Neo4j安装与配置.pdf
- Phoenix安装及其使用.pdf
- Presto_客户端工具和界面.pdf
- Presto安装部署及使用.pdf
- Ranger_配置_LDAP_账号(FreeIPA)同步账号.pdf
- Redis5.0集群安装.pdf
- R语言操作hive,并调度.pdf
- Shell_按日期循环执行.pdf
- Solr异常关闭导致index_locked.pdf
- Spark,Impala,Hive_设置队列.pdf
- Spark_on_Yarn_之Python环境定制.pdf
- TiDB快速部署和测试.pdf
- WORDPRESS_无法正常显示回车换行空行回行的解决方法.pdf
- Windows_下_Confluence_验证码无法显示_解决办法.pdf
- YAML格式解析.pdf
- alluxio安装和_结合cdh使用,alluxio和_spark整合.pdf
- ambari_hortonworks_(hdp)安装注意事项.pdf
- ansible_ansible-demo3_-m_copy_-a_src=testdircopytest_dest=testdir.pdf
- azkaban通过脚本打包发布工程.pdf
- bat_输入想执行的次数_每隔3秒钟循环执行一次应用程序.pdf
- can_only_run_host_inspector_when_host_is_healthy_cloudera.pdf
- cdh6.0.1_spark客户端设置.pdf
- cdh6.3.2-新功能测试.pdf
- cdh6.3.2安装部署.pdf
- cdh6_hbase新集群配置项整理.pdf
- cdh6_oozie调度shell中文乱码.pdf
- cdh服务_手动操作.pdf
- cdh根据机器数量划分角色.pdf
- cdp_+freeipa___kerberos认证.pdf
- cdp(cdh7).pdf
- centos7.使用Tor_创建匿名服务和匿名网站(.onion).pdf
- centos7_openldap双主部署.pdf
- centos_7设置最大文件打开数,不生效问题.pdf
- clickhouse使用.pdf
- clouder_manager_(cm)降级.pdf
- cloudera_solr_集群搭建.pdf
- cloudera_收费版功能.pdf
- css_url_相对路径.pdf
- dbvisualizer_pro_64位破解版_v10.0.20专业版.pdf
- django做一个最简单的店商网站.pdf
- dokuwiki_安装与设置和注意事项.pdf
- elasticsearch6.4.2许可证过期了_es破解.pdf
- elasticsearch数据备份与迁移.pdf
- es-sql_(elasticsearch-sql)插件安装.pdf
- es映射到hive_类型需要注意的地方.pdf
- filebeat.yml_配置.pdf
- filebeat详解.pdf
- fuser命令.pdf
- github搭建hexo博客.pdf
- gpu压力测试.pdf
- hadoop3.0中使用纠删码.pdf
- hadoop生态圈.pdf
- hadoop跨集群之间迁移hive数据.pdf
- hadoop集群tmp目录许多DATANODE_.hprof文件.pdf
- hadoop集群提高磁盘_IO_的效率、提升文件系统的性能。.pdf
- hbase2.0__master.pdf
- hbase_jdbc连接.pdf
- hbase_shel_l中常用的过滤器.pdf
- hbase_破坏性测试_双master挂掉.pdf
- hbase快照.pdf
- hbase批量删除表数据.pdf
- hbase数据备份实战.pdf
- hdfs_balancer.pdf
- hdfs_批量修改文件夹名称(1).pdf
- hdfs_批量修改文件夹名称.pdf
- hdfs块丢失块导致的异常问题排查解决.pdf
- hive,impala客户端使用.pdf
- hive_jdbc_压力测试.pdf
- hive_生产测试数据.pdf
- hive_解锁.pdf
- hive_过滤特殊字符.pdf
- hive关联es_,json嵌套,struct,arry_等特殊类型数据处理.pdf
- hive创建永久函数和临时函数.pdf
- hive可视化权限控制总结.pdf
- hive处理json和数组数据.pdf
- hive导数据到neo4j.pdf
- hive快速复制一张分区表.pdf
- hive性能优化.pdf
- hive执行日志解析,job日志解析.pdf
- hive映射hbase.pdf
- hive映射phoenix_&&_cdh_hive组件升级.pdf
- hive权限控制.pdf
- http下载hdfsd.pdf
- hue4.2_连接hbase_Api_Error_timed_out.pdf
- hue远程访问Hbase.pdf
- impala.pdf
- impala优化.pdf
- impala使用udf函数.pdf
- impala同步元数据使用原则.pdf
- impala驱动的连接方式.pdf
- ipython常用功能,_iPython_安装_比shell好用.pdf
- janusgraph部署.pdf
- js_获取当天凌晨的时间戳,几天前凌晨的时间戳.pdf
- json_数据导入hive_利用_get_json_object_和json_tuple_函数.pdf
- jstat_-gcutil_命令使用.pdf
- jvm垃圾回收器调优.pdf
- kafka_参数详解.pdf
- kerberos使用总结.pdf
- kubeflow_安装部署.pdf
- kubernetes_pv_pvc与nfs_测试.pdf
- kudu_,Not_enough_live_tablet_servers_to_create_a_table.pdf
- kudu常见问题.pdf
- kudu性能调优.pdf
- kylin安装_和kylin用户权限管理.pdf
- ldap_添加索引.pdf
- ldap实现Linux登录账号统一管理.pdf
- ldap过滤器.pdf
- linux_用户迁移.pdf
- linux下解压缩rar格式的压缩包.pdf
- linux时间同步_NTP配置与开机自启动.pdf
- linux查看某个时间段的日志.pdf
- linux查看系统的日志的一些实用操作.pdf
- messagehive.metastore.sasl.enabled_can’t_be_false_in_non-testing_mode.pdf
- messages日志过滤掉ldapd的错误.pdf
- mt5__K线图_最右边留点空白.pdf
- mysql与hive_sql_对比.pdf
- nfs常用操作命令.pdf
- nfs问题处理.pdf
- nohup后台运行scp,ftp等需要输入密码的命令.pdf
- nxlog配置帮助.pdf
- oozie_命令行操作.pdf
- oozie调度ssh执行shell.pdf
- openldap_ssl配置.pdf
- openldap安装,hue、hive、impala集成ldap.pdf
- openldap设置用户修改密码权限_密码过期.pdf
- oracle_和SAS之间传递数据_sas中文日期格式输出.pdf
- pgsql使用帮助.pdf
- pip.pdf
- pip_代理服务器_代理安装.pdf
- pm2.pdf
- presto-elasticsearch.pdf
- presto_admin_安装.pdf
- presto_更新hive数据_insert_owerwrite__table.pdf
- presto查询区分大小写的数据库(mysql,mongo)表,报错表名不存在.pdf
- presto配置ldap用于用户认证.pdf
- presto集群管理.pdf
- python-module_‘pymysql’has_no_attribute’connect’.pdf
- python3操作hive.pdf
- python_操作neo4j.pdf
- python中的urlencode与urldecode.pdf
- python操作hive.pdf
- python操作impala.pdf
- python用正则表达式将网页中所有img_src=XXX_形式中的XXX的字符串提取出.pdf
- solr_查询优化.pdf
- spark做etl清洗json数据.pdf
- spark调优.pdf
- sqoop连接oralce.pdf
- top命令指南.pdf
- visionapp_Remote_Desktop_2010.pdf
- win10_使用Tor_创建匿名服务和匿名网站(.onion.pdf
- win10下双系统_使用帮助.pdf
- windows中类似linux的ln命令.pdf
- window下python连接hive.pdf
- wordpress_主题.pdf
- zeppelin.pdf
- 上海十条骑车路线推荐.pdf
- 使用HiveServer2管理udf函数.pdf
- 使用Hive读写ElasticSearch中的数据.pdf
- 使用PHP的mail函数发送邮件.pdf
- 使用dd测试硬盘读写速度,实测腾讯云阿里云服务器.pdf
- 使用python查询Elasticsearch并导出所有数据.pdf
- 使用scp保留权限.pdf
- 修改cdh5集群中主机hostName.pdf
- 入职指南.pdf
- 分区表增加字段报错_Unable_to_alter_partition._alter_is_not_possible.pdf
- 四种方法把mongDB迁移数据到hive或Hbase.pdf
- [图数据库JanusGraph实战5]_JanusGraph可视化之Gephi.pdf
- 在HBase集群运行的时候进行数据迁移.pdf
- 在Hadoop_上运行Tensorflow.pdf
- 堆外内存知识.pdf
- 大数据环境下海量服务器如何运维.pdf
- 如何为Presto集成Kerberos环境下的Hive.pdf
- 如何使用StreamSets实现MySQL中变化数据实时写入Kudu.pdf
- 如何配置impala自动同步HMS元数据.pdf
- 安装kafka控制台kafka_web_console.pdf
- 宝付业务数据库表_.pdf
- 将系统用户导入FreeIPA中.pdf
- 带kerberos认证的hdfs文件操作.pdf
- 开通权限管理后csv导入hive建表问题.pdf
- 异常日志:_No_data_or_no_sasl_data_in_the_stream.pdf
- 强制删除hive的数据库.pdf
- 打印Spark_RDD中的top_n_内容.pdf
- 把hdfs上的多个目录下的文件合并为一个文件.pdf
- 招聘面试.pdf
- 搭建OpenLDAP自助修改密码系统Self_Service_Password.pdf
- 搭建tensorflow-gpu深度学习环境,GPU测试.pdf
- 效率笔记_2019.04.18.pdf
- 新磁盘格式化与挂载.pdf
- 时钟偏差.pdf
- 权限_sentry迁移.pdf
- 查看yarn日志报错Error_getting_logs_at_hostname8041.pdf
- 查询cloudera__manager_配置修改.pdf
- 根据mapreduce_根据_job_id_快速查原因.pdf
- 欢迎使用有道云笔记.pdf
- 欢迎来到全新的有道云笔记.pdf
- 测试cpu和gpu的速度差距.pdf
- 测试环境Kerberos、LDAP安装.pdf
- 添加pgsql远程访问_&&_重启cloudera_manager的pgsql.pdf
- 湘乡话方言翻译.pdf
- 湘潭竞价前台管理系统.pdf
- 湘潭竞价后台管理系统.pdf
- 用StreamSets实现MySQL中变化数据实时写入Kudu.pdf
- 用cloudera_manager_安装kudu时报错误.pdf
- 监听端口_发现程序宕了。重启程序.pdf
- 直接从hdfs下载数据.pdf
- 磁盘不能读写.pdf
- 禁用Hive.pdf
- 禁用_ssh.pdf
- 老集群补历史数据.pdf
- 自动化运维工具_Ansible_在部署大数据平台下的应用.pdf
- 解决RegionServer_打开文件描述符数报警.pdf
- 解决_wordpress_ftp无法连接.pdf
- 解决hive_comment_中文乱码问题.pdf
- 解决parquet文件格式Impala与Hive日期时间不同.pdf
- 解决spark_streaming长时间运行日志不断增长问题.pdf
- 记一次线上服务器频繁宕机.pdf
- 设置浏览器允许Kerberos身份验证.pdf
- 谈谈spark中对RDD的认识。.pdf
- 跨版本distcp报Check-sum错误.pdf
- 远程办公解决方案_搭建局域网vpn服务器.pdf
- 连接HiveServer2传递参数的几种方式.pdf
- 部署Harbor私有镜像仓库.pdf
- 配置OpenLDAP的日志文件.pdf
- 阿里api使用.pdf
- 集团大数据平台项目整体方案规划.pdf
- 集团大数据平台项目整改方案规划.pdf
- 集群拆分项目工作进度.pdf
- 集群新加节点,安装tensorflow.pdf
- 非常简单的PYTHON_HTTP服务.pdf
- 骑行遂昌.pdf
- 鱼儿老师的笔记.pdf
IPFS音乐播放器
IPFS音乐播放器
IPFS相关
IPFS第一次亲密接触
- 什么是IPFS
- IPFS对比HTTP/FTP等协议的优势
- IPFS应用场景
-移动数据 交易 路由 网络
- 定义数据 命名
- 使用数据
具体场景;
挂载全球文件
版本管理功能
数据库
加密平台
各种类型cdn
永久访问的链接
ipfs入门
- 官网地址:https://ipfs.io
- 下载安装:https://dist.ipfs.io/#go-ipfs
- 节点初始化
ipfs init
- 如果出现
Error: cannot acquire lock: can't lock file
删除其后边给出的repo.lock文件即可
- 节点配置
ipfs id
查看当前节点id等信息ipfs config show
ipfs配置信息
- 节点服务器daemon
ipfs daemon
- 修改IPFS默认路径
- 开放API请求
- ipfs config --json Addresses.API ‘"/ip4/0.0.0.0/tcp/5001"’
- 开放公共网关
- ipfs config --json Addresses.Gateway ‘"/ip4/0.0.0.0/tcp/8080"’
发布数据
hbase常用命令操作实战
hbase-hbck2
从官网下载hbck2 执行文件
http://hbase.apache.org/downloads.html
cdh官网的使用帮助
1 | cd /opt/hbase-operator-tools-1.0.0/hbase-hbck2 |
hbase shell 实战
移动表的数据到另外一个服务器
1 | # 语法:move 'encodeRegionName', 'ServerName'`` |
CDH-HBase 使用 HBCK2 运维
前言
周末 CDH6.3 的集群断电,导致 HBase 出现 RIT 状态。
赶紧把之前学的 hbck2 的知识实践顺便回顾下
过程
将项目拉取到本地 git clone https://github.com/apache/hbase-operator-tools.git --depth 1
编译出jar包上传到集群上 mvn clean package -Dmaven.skip.test=true
CDH 集群的话将其上传至/opt/cloudera/parcels/CDH/lib/hbase/lib
路径下
使用
1 | hbase org.apache.hbase.HBCK2 <命令> |
结果当头一棒,不支持 2.1.0-cdh6.3.1
Linux(CentOS7)修改mysql默认数据文件目录
默认情况下mysql
的数据路径应该在
1 | # cd /var/lib/mysql |
现在我们要将它转移到/data
- 停掉mysql服务
1 | # service mysql stop |
- 将原数据目录转移到
data
目录下
1 | # mv /var/lib/mysql /data/ |
- 修改
# vi /etc/my.cnf
文件,增加以下行
1 | datadir = /data/mysql |
- 修改
# vi /etc/init.d/mysql
文件,增加以下行
hexo 常用命令
hexo 常用命令 :
1 | $ hexo generate (hexo g) 生成静态文件 |
其他参考:
5分钟搞定个人博客-hexo https://www.jianshu.com/p/390f202c5b0e
换终端更新hexo博客 https://www.jianshu.com/p/6a29f5243ab4
Linux查找含有某字符串的所有文件
如果你想在当前目录下 查找"hello,world!"字符串,可以这样:
1 | grep -rn "hello,world!" * |
*
: 表示当前目录所有文件,也可以是某个文件名
- -r 是递归查找
- -n 是显示行号
- -R 查找所有文件包含子目录
- -i 忽略大小写
下面是一些有意思的命令行参数:
grep -i pattern files :不区分大小写地搜索。默认情况区分大小写,
grep -l pattern files :只列出匹配的文件名,
grep -L pattern files :列出不匹配的文件名,
grep -w pattern files :只匹配整个单词,而不是字符串的一部分(如匹配‘magic’,而不是‘magical’),
grep -C number pattern files :匹配的上下文分别显示[number]行,
grep pattern1 | pattern2 files :显示匹配 pattern1 或 pattern2 的行,
grep pattern1 files | grep pattern2 :显示既匹配 pattern1 又匹配 pattern2 的行。
这里还有些用于搜索的特殊符号:
< 和 > 分别标注单词的开始与结尾。