分享知识,分享快乐

0%

查看rcfile、orc、text和paquet等格式的文件

hive查看rcfile和orc

1
2
hive --rcfilecat hdfs://cluster1/tmp/youni_user_profile_ft/000000_0
hive --rcfilecat hdfs://cluster1/tmp/000000-000009/000000_0

hive查看orc

1
hive --orcfiledump /data/datawarehouse/xx/xxxx/xxxx/part-00199

查看文本格式

1
hadoop fs -text /tmp/part-m-00000.snappy

查看parquet文件格式内容

  1. 下载对应的parquet-tools jar:http://logservice-resource.oss-cn-shanghai.aliyuncs.com/tools/parquet-tools-1.6.0rc3-SNAPSHOT.jar?spm=5176.doc52798.2.7.H3s2kL&file=parquet-tools-1.6.0rc3-SNAPSHOT.jar

git:https://github.com/apache/parquet-mr/tree/master/parquet-tools?spm=5176.doc52798.2.6.H3s2kL

1
2
3
4
查看schema:
java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d myparquet.parquet | head -n 10
查看内容:
java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar head -n 10 myparquet.parquet