06 2019 档案

not registered via @EnableConfigurationProperties or marked as Spring component
摘要：利用@ConfigurationProperties(prefix = "")来绑定属性时报错： not registered via @EnableConfigurationProperties or marked as Spring component POM依赖 <dependency> <g 阅读全文
posted @ 2019-06-24 09:17 夏天换上冬装 阅读(3529) 评论(0) 推荐(0) 编辑
6.RDD算子实战
摘要：1 from pyspark import SparkContext,SparkConf 2 import sys 3 if __name__ == '__main__': 4 if len(sys.argv) != 2: 5 print("Usage: wordcount <input>",fil 阅读全文
posted @ 2019-06-17 09:39 夏天换上冬装 阅读(139) 评论(0) 推荐(0) 编辑
3.pycharm spark配置
摘要：pycharm 内的环境变量配置 选择相应的spark程序文件的对应的配置信息 PYSPARK_PYTHON:python的安装路径 PYTHONPATH:spark安装路径下的python 提交pyspark应用程序 在$SPARK_HOME/bin 将HDFS上的文件作为参数传入 阅读全文
posted @ 2019-06-10 09:46 夏天换上冬装 阅读(340) 评论(0) 推荐(0) 编辑
4.RDD常用算子之transformations
摘要：RDD Opertions transformations:create a new dataset from an existing one RDDA --> RDDB actions: return a value to the driver program after running a co 阅读全文
posted @ 2019-06-03 09:40 夏天换上冬装 阅读(209) 评论(0) 推荐(0) 编辑