摘要：
一、如何确定按姓分区的Partitioner？为什么不能用HashPartitioner? 1. 根据余数测试，得知： 结论：[1到num]% num 一定是不一样的分区值，[>num] % num 的分区一定会有重复 2. 为什么不能用HashPartitioner -> 应该取substring 阅读全文
摘要：
可能是spark2.3.4版本和hive1.1.0不匹配，在环境变量里配置SPARK_HOME后hive启动会寻找到这个环境变量并且匹配什么的 所以解决办法就是把SPARK_HOME从环境变量里删掉！ 阅读全文
摘要：
spark2.0版本之后，原有lib目录下的spark-assembly-*.jar包被拆成多个jar包，存放路径是在spark的jars目录下。解决方案：进入hive安装目录：(我的目录是/usr/local/hive)cd /usr/local/hivecd ./bin编辑hive >>> 将s 阅读全文
摘要：
当我们输入./schematool -initSchema -dbType mysql的时候，会出现以下错误 Metastore connection URL: jdbc:mysql://192.168.*./hive?createDatabaseIfNotExist=trueMetastore C 阅读全文