摘要：
hdfs的写流程，如下图： 1、使用HDFS提供的客户端开发库Client，向远程的Namenode发起RPC请求；Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录(账本上记录一条)，否则会让客户端抛出异常； 2、当客户端开始写入文件的时候，开发库 阅读全文
摘要：
问题：进入hive时报错，如下所示 原因是： spark升级到spark2以后，原有lib目录下的大JAR包被分散成多个小JAR包，原来的spark-assembly-*.jar已经不存在，所以hive没有办法找到这个JAR包。 解决办法是：修改bin目录下的hive文件 找到下面内容 将紫色部分改 阅读全文