摘要：场景：spark+hive采用客户端和服务端分离的模式，客户端启动spark-sql 或者spark-submit、spark-shell 操作的都是本地数据源，无论服务端hive有没有启动，烦恼了一周，终于有了解决办法。 问题重现：采用spark-submit提交的方式 conf = (Spark 阅读全文

摘要：pyspark提交任务报错： UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb8 in position 885: invalid start byte 文件含有中文，把中文全去掉。 阅读全文

摘要：环境搭建参考于 https://www.cnblogs.com/zimo-jing/p/8892697.html 1、所有节点依次启动zookeeper # zkServer.sh start >> 7915 QuorumPeerMain 2、所有节点依次启动journalnode 保证数据同步(此 阅读全文