随笔分类 -  spark

Spark Sorted排序
该文被密码保护。
posted @ 2021-05-30 17:06 小白啊小白，Fighting 阅读(0) 评论(0) 推荐(0) 编辑
Spark 广播变量broadcast
该文被密码保护。
posted @ 2021-05-30 16:49 小白啊小白，Fighting 阅读(0) 评论(0) 推荐(0) 编辑
Spark 自定义分区器
该文被密码保护。
posted @ 2021-05-30 15:05 小白啊小白，Fighting 阅读(0) 评论(0) 推荐(0) 编辑
Spark checkpoint缓存数据
该文被密码保护。
posted @ 2021-05-30 14:44 小白啊小白，Fighting 阅读(0) 评论(0) 推荐(0) 编辑
Spark2.x SparkCore WordCount Demo
该文被密码保护。
posted @ 2021-05-30 10:48 小白啊小白，Fighting 阅读(6) 评论(0) 推荐(0) 编辑
Spark提交任务到Yarn错误
摘要：1、错误描述：Initial job has not accepted any resources; check your cluster UI to ensure that workers are registe(资源不足) CDH解决方案：进入Yarn，找到配置，修改这个值 阅读全文
posted @ 2020-11-26 18:07 小白啊小白，Fighting 阅读(380) 评论(0) 推荐(0) 编辑
CDH执行spark任务
摘要：1、cdh执行spark任务(直接在yarn执行) spark2-submit \ --master yarn \ --num-executors 1 \ --executor-cores 1 \ --executor-memory 1G \ --class org.apache.spark.exa 阅读全文
posted @ 2020-11-12 18:01 小白啊小白，Fighting 阅读(1323) 评论(0) 推荐(0) 编辑
idea 打jar包(包含依赖jar)
摘要：1、pom.xml <build> <pluginManagement> <plugins> <!-- 编译scala的插件 --> <plugin> <groupId>net.alchim31.maven</groupId> <artifactId>scala-maven-plugin</arti 阅读全文
posted @ 2020-08-27 09:54 小白啊小白，Fighting 阅读(2382) 评论(0) 推荐(0) 编辑
Spark-Streaming结合Redis
摘要：1、JedisConnectionPool.scala package sparkstreaming import redis.clients.jedis.{Jedis, JedisPool, JedisPoolConfig} object JedisConnectionPool{ val conf 阅读全文
posted @ 2020-08-07 16:40 小白啊小白，Fighting 阅读(1578) 评论(0) 推荐(0) 编辑
Spark-Streaming结合Mysql案例
摘要：前提：启动zookeeper和kafka，创建topic为wc 1、MysqlConnectPool.scala package sparkstreaming import java.sql.{Connection, DriverManager, ResultSet, Statement} impo 阅读全文
posted @ 2020-08-07 16:37 小白啊小白，Fighting 阅读(797) 评论(0) 推荐(0) 编辑
Springboot与scala编写第一个web程序
摘要：1、pom.xml文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst 阅读全文
posted @ 2020-08-07 11:00 小白啊小白，Fighting 阅读(490) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示