随笔分类 - 自用 / Spark快速大数据分析
摘要：1.版本对应 spark与scala版本对应：https://mvnrepository.com/artifact/org.apache.spark/spark-core spark版本：spark-3.5.4-bin-hadoop3.tgz 2.下载 curl https://downloads.
阅读全文
摘要：！：本次测试没有启动任何版本hadoop spark-3.5.4-bin-hadoop3 [root@master spark]# IPYTHON=1 ./bin/pyspark Error in pyspark startup: IPYTHON and IPYTHON_OPTS are remov
阅读全文
摘要：C:\Users\Administrator\Documents\spark\spark-3.5.4-bin-hadoop3>set PYSPARK_DRIVER_PYTHON=ipython C:\Users\Administrator\Documents\spark\spark-3.5.4-bi
阅读全文
摘要：官网：https://ipython.org/ Microsoft Windows [版本 10.0.20348.2527] (c) Microsoft Corporation。保留所有权利。 C:\Users\Administrator>pip Usage: pip <command> [opti
阅读全文
摘要：修改前： Windows: 修改后： Windows: 对比： Windows: 修改过程： Windows: C:\Users\Administrator\Documents\spark\spark-3.5.4-bin-hadoop3>copy conf\log4j2.properties.tem
阅读全文
摘要：C:\Users\Administrator\Documents\spark\spark-3.5.4-bin-hadoop3>.\bin\spark-shell Missing Python executable 'python3', defaulting to 'C:\Users\Administ
阅读全文
摘要：https://spark.apache.org/docs/latest/quick-start.html
阅读全文
摘要：Administrator@WIN-5B2ST4S1K5H MINGW64 ~/Documents/spark $ tar -xf spark-3.5.4-bin-hadoop3.tgz Administrator@WIN-5B2ST4S1K5H MINGW64 ~/Documents/spark
阅读全文
摘要：官网： https://spark.apache.org/downloads.html 效果图： 华为镜像： https://mirrors.huaweicloud.com/apache/spark/ 效果图：
阅读全文
摘要：https://amplab.cs.berkeley.edu/software/
阅读全文
摘要：https://www.meetup.com/spark-users/
阅读全文
摘要：集群版本 hadoop-3.4.0 hive-3.1.3 zookeeper-3.9.2 hbase-2.6.0（1.0.0以上需要zookeeper-3.4.0以上） spark-3.5.3（只能选2.13.0） scala-2.13.0（jdk8仅支持x.x.0系） 总结一下：JDK8和scal
阅读全文
