conda --version #查看conda版本，验证是否安装

conda update conda #更新至最新版本，也会更新其它相关包

conda update --all #更新所有包

conda update package_name #更新指定的包

conda create -n env_name package_name #创建名为env_name的新环境，并在该环境下安装名为package_name 的包，可以指定新环境的版本号，例如：conda create -n python2 python=python2.7 numpy pandas，创建了python2环境，python版本为2.7，同时还安装了numpy pandas包

conda activate env_name #切换至env_name环境

conda deactivate #退出环境

conda info -e #显示所有已经创建的环境

conda create --name new_env_name --clone old_env_name #复制old_env_name为new_env_name

conda remove --name env_name –all #删除环境

conda list #查看所有已经安装的包

conda install package_name #在当前环境中安装包

conda install --name env_name package_name #在指定环境中安装包

conda remove -- name env_name package #删除指定环境中的包

conda remove package #删除当前环境中的包

conda create -n tensorflow_env tensorflow

conda activate tensorflow_env #conda 安装tensorflow的CPU版本

conda create -n tensorflow_gpuenv tensorflow-gpu

conda activate tensorflow_gpuenv #conda安装tensorflow的GPU版本

conda env remove -n env_name #采用第10条的方法删除环境失败时，可采用这种方法

一、查找
查找命令
/pattern<Enter> ：向下查找pattern匹配字符串
?pattern<Enter>：向上查找pattern匹配字符串
使用了查找命令之后，使用如下两个键快速查找：
n：按照同一方向继续查找
N：按照反方向查找
pattern是需要匹配的字符串，例如：
/hello<Enter>      #查找hello
/hello<Enter>    #查找hello单词（注意前后的空格）
除此之外，pattern还可以使用一些特殊字符，包括（/、^、$、*、.），其中前三个这两个是vi与vim通用的，“/”为转义字符。
/^hello<Enter>    #查找以hello开始的行
/hello$<Enter>    #查找以hello结束的行
//^hello<Enter>    #查找^hello字符串
 
二、替换
1.:[range]s/pattern/string/[c,e,g,i]
range     指的是范围，1,7 指从第一行至第七行，1,$ 指从第一行至最后一行，也就是整篇文章，也可以 % 代表。 % 是目前编辑的文章，# 是前一次编辑的文章。
pattern     就是要被替换掉的字串，可以用 regexp 来表示。
string     将 pattern 由 string 所取代。
c     confirm，每次替换前会询问。
e     不显示 error。
g     globe，不询问，整行替换。
i     ignore 不分大小写。
I     ignore 大小写敏感。
 
2.基本替换
:s/lantian/sky/         #替换当前行第一个 lantian 为 sky
:s/lantian/sky/g     #替换当前行所有 lantian 为 sky
:n,$s/lantian/sky/     #替换第 n 行开始到最后一行中每一行的第一个 lantian 为 sky
:n,$s/lantian/sky/g     #替换第 n 行开始到最后一行中每一行所有 lantian 为 sky
#（n 为数字，若 n 为 .，表示从当前行开始到最后一行）
:%s/lantian/sky/        #（等同于 :g/lantian/s//sky/） 替换每一行的第一个 lantian 为 sky
:%s/lantian/sky/g    #（等同于 :g/lantian/s//sky/g） 替换每一行中所有 lantian 为 sky
可以使用 #或+ 作为分隔符，此时中间出现的 / 不会作为分隔符
:s#lantian/#sky/#         替换当前行第一个 lantian/ 为 sky/
:%s+/oradata/apras/+/user01/apras1+ （
使用+ 来 替换 / ）： /oradata/apras/替换成/user01/apras1/
 
3.删除文本中的^M
问题描述：对于换行，window下用回车换行（0A0D）来表示，linux下是回车（0A）来表示。这样，将window上的文件拷到unix上用时，总会有个^M，请写个用在unix下的过滤windows文件的换行符（0D）的shell或c程序。
使用命令：cat filename1 | tr -d “^V^M” > newfile;
使用命令：sed -e “s/^V^M//” filename > outputfilename
需要注意的是在1、2两种方法中，^V和^M指的是Ctrl+V和Ctrl+M。你必须要手工进行输入，而不是粘贴。
在vi中处理：首先使用vi打开文件，然后按ESC键，接着输入命令：
:%s/^V^M//
:%s/^M$//g
如果上述方法无用，则正确的解决办法是：
tr -d “/r” < src >dest
tr -d “/015″ dest
strings A>B
 
4.其它用法
:s/str1/str2/          #用字符串 str2 替换行中首次出现的字符串 str1
:s/str1/str2/g         #用字符串 str2 替换行中所有出现的字符串 str1
:.,$ s/str1/str2/g     #用字符串 str2 替换正文当前行到末尾所有出现的字符串 str1
:1,$ s/str1/str2/g     #用字符串 str2 替换正文中所有出现的字符串 str1
:g/str1/s//str2/g      #功能同上
 
5.g的总结说明
从上述替换命令可以看到：
g 放在命令末尾，表示对指定行的搜索字符串的每次出现进行替换；不加 g，表示只对指定行的搜索字符串的首次出现进行替换；
g 放在命令开头，表示对正文中所有包含搜索字符串的行进行替换操作。
也就是说命令的开始可以添加影响的行，如果为g表示对所有行；命令的结尾可以使用g来表示是否对每一行的所有字符串都有影响。

1. Please verify once if you could collect logs using "yarn logs" command as below?
{{
yarn logs -applicationId <appID> -appOwner <user>
}}

2.  please verify the below directories if they have right permissions
{{
hdfs dfs -ls /user/history/done
hdfs dfs -ls  /user/history/done_intermediate
}}

3. Please verify if "Enable Log Aggregation" has been enabled or not
{{
ClouderaManager-->Yarn-->Configurations-->"Enable Log Aggregation"
}}

4. Verify the permissions for /tmp/logs as below,
{{
hadoop fs -chown mapred:hadoop /tmp/logs
hadoop fs -chown -R :hadoop /tmp/logs/*
}}

export PYTHON_EGG_CACHE=.python-eggs   

impala-shell -i 172.20.15.10:21000 -u hpt -l --auth_creds_ok_in_clear --ldap_password_cmd='echo -n ***' -q 'SET request_pool=development;'

sudo -u yarn spark-shell  \
  --queue bf_yarn_pool.development \
  --packages org.apache.spark:spark-avro_2.11:2.4.0 \
  --conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \
  --jars `ls /opt/hudi/packaging/hudi-spark-bundle/target/hudi-spark-bundle_2.11-*.*.*-SNAPSHOT.jar`

cd /tmp
hdfs dfsadmin -fetchImage ./tmp_meta
hdfs oiv -i ./tmp_meta -o ./fsimage.csv -p Delimited
hdfs dfs -mkdir -p /tmp/hdfs_metadata/fsimage
hdfs dfs -copyFromLocal ./fsimage.csv /tmp/hdfs_metadata/fsimage

sqoop import \
-D mapred.job.queue.name=bf_yarn_pool.development \
--connect "jdbc:mysql://10.0.20.107:3306/baofoo_hive_2" \
--username cs_yangz \
--password *** \
--query 'select c.NAME,c.DB_LOCATION_URI,a.TBL_NAME,a.OWNER,a.TBL_TYPE,b.LOCATION from TBLS a,SDS b,DBS c where a.SD_ID=b.SD_ID and a.DB_ID=c.DB_ID and $CONDITIONS' \
--fields-terminated-by ',' \
--delete-target-dir \
--hive-database default \
--target-dir /tmp/hive_tables_temp \
--hive-import \
--hive-overwrite \
--hive-table hive_tables_temp \
--m 1