注意：目前Hudi使用的是hadoop2.7.3版本，CDH6.3.0 环境使用的是hadoop3.0.0， 所以在打包的时候需要加上**-Dhadoop.version=3.0.0** 参数
1
| mvn clean install -DskipTests -DskipITs -Dcheckstyle.skip=true -Drat.skip=true -Dhadoop.version=3.0.0
|
1
2
3
4
5
| sudo -u yarn spark-shell \
--queue bf_yarn_pool.development \
--packages org.apache.spark:spark-avro_2.11:2.4.0 \
--conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \
--jars `ls /opt/hudi/packaging/hudi-spark-bundle/target/hudi-spark-bundle_2.11-*.*.*-SNAPSHOT.jar`
|