2018 年 8月 27 日随笔档案 - 沙沙沙啊啊皮

2018年8月27日

摘要： package stuSpark.com; import java.io.IOException; import java.util.ArrayList; import java.util.Arrays; import java.util.HashMap; import java.util.List; import java.util.Map; import org.apache.spark... 阅读全文

posted @ 2018-08-27 16:11 沙沙沙啊啊皮阅读(355) 评论(0) 推荐(0) 编辑

学习随笔 pyspark JDBC 操作oracle数据库

摘要：这里的 pyspark 是spark安装的文件夹里python文件夹下的，需要复制到anoconda的Lib下site-packages中代码中没有环境变量的配置，不愿意在本机配置环境变量的可以去查查spark在python中环境变量配置阅读全文

posted @ 2018-08-27 15:59 沙沙沙啊啊皮阅读(2210) 评论(0) 推荐(0) 编辑

学习随笔--pyspark RDD常用操作

摘要： # -*- coding:utf-8 -*- from pyspark import SparkContext, SparkConf from pyspark.streaming import StreamingContext import math appName = "jhl_spark_1" # 你的应用程序名称 master = "local" # 设置单机 conf = Spar... 阅读全文

posted @ 2018-08-27 15:55 沙沙沙啊啊皮阅读(1912) 评论(0) 推荐(0) 编辑