摘要：
1 案例 2 def main(args: Array[String]): Unit = { 3 4 // 1.创建sparkconf 5 val conf = new SparkConf() 6 .setMaster("local") 7 .setAppName("test-sql") 8 9 1 阅读全文
摘要：
1.RDD 是spark的核心数据结构，全称是弹性分布式数据集。 本质上是一种分布式的内存抽象，表示一个只读的数据分区集合。一个RDD通常只能通过其他的RDD转换而创建，RDD定义了各种丰富的转换操作，通过转换操作，新的RDD包含了如何从其他RDD衍生所必须的信息。这些信息构成了RDD之间的依赖关系 阅读全文
摘要：
测试程序：原来运行环境是 升级后的运行环境 执行在低版本环境的程序 1.首先将高版本的pom文件修改、 2.在将resource配置文件配置 然后执行程序 报错 首先追踪错误代码行APP 45行。 是sparkSQL读hive仓库的表 最后一个报错代码说： 无法识别的hadoop主版本号 然后就在考 阅读全文
摘要：
因为我们部门集群与公司mongo集群是不在同一集群上，但是在同一内网，所以应该是正常可以访问。 1.确保两个集群之间是可以互相访问的 使用telnet命令 可以正常通信 2.通过mongo shell 测试连接 两种连接方式： mongo -u test -p test --host 127.0.0 阅读全文