摘要：
一、环境准备 1.seaborn数据集下载地址：https://github.com/mwaskom/seaborn-data 2.下载后解压放到C:\Users\014xxx\seaborn-data内，可以通过命令行sns.getdir来获取sns.utils.get_data_home() 二 阅读全文
随笔分类 - 大数据
【python进阶】python大数据资料汇总
2022-10-10 10:11 by 码上起舞, 75 阅读, 收藏, 编辑
摘要：
汇总：https://github.com/hi-weijun/PythonDataScience-Collections python数据分析https://pyda.apachecn.org/#/docs/1 python大数据spark ： http://spark.apachecn.org/ 阅读全文
【大数据】spark，hadoop，hive各软件下载地址
2022-09-15 10:14 by 码上起舞, 226 阅读, 收藏, 编辑
摘要：
spark下载地址： https://spark.apache.org/downloads.html https://archive.apache.org/dist/spark/spark-3.3.0/ hadoop下载地址： https://archive.apache.org/dist/hado 阅读全文
【大数据】pyspark sql计算场景
2022-04-07 10:04 by 码上起舞, 84 阅读, 收藏, 编辑
摘要：
一、目的本文主要用于记录我在大数据使用过程中的一些沉淀和总结二、简单计算内容 from pyspark.sql import SparkSession spark = SparkSession.builder.appName("sql").master("local[*]").getOrCreate 阅读全文
【大数据】RDD计算常见场景
2022-04-06 18:09 by 码上起舞, 172 阅读, 收藏, 编辑
摘要：
一、目的本文主要用于记录大数据学习过程中一些沉淀from pyspark import SparkContext,SparkConfspconf =SparkConf().setAppName("ji").setMaster("local[*]")sc = SparkContext(conf=spc 阅读全文
【大数据】大数据相关的Troubshooting
2022-04-06 18:02 by 码上起舞, 58 阅读, 收藏, 编辑
摘要：
问题1 pyspark的df.show() 报错Method showString([class java.lang.Integer, class java.lang.Integer]) does not exist 原因：Spark版本不匹配. 在Spark 2.3之前 show方法只接受了两个参 阅读全文
