上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 28 下一页
摘要: 创建maven工程添加pom依赖 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.3.7.RELEASE</vers 阅读全文
posted @ 2022-08-29 11:39 lambertlt 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 查看xxx端口是否使用:lsof -i 9999 杀死进程:kill -9 PID 阅读全文
posted @ 2022-08-25 15:54 lambertlt 阅读(82) 评论(0) 推荐(0) 编辑
摘要: 在启动类上添加 @EnableFeignClients 注解 Feign client类的编写,以及接参方式,特别关注get的两种方式:url路径参数和发送对象实体。参考地址 /*** * @author Lambert * @date 2022-08-24 * @explain ***/ // u 阅读全文
posted @ 2022-08-25 09:36 lambertlt 阅读(235) 评论(0) 推荐(0) 编辑
摘要: File file = new File(xxx); response.setCharacterEncoding("utf-8"); response.addHeader("Content-Disposition", "attachment; filename*=UTF-8''" + URLEnco 阅读全文
posted @ 2022-08-23 14:54 lambertlt 阅读(103) 评论(0) 推荐(0) 编辑
摘要: 从集合(内存中创建出来)RDD val sparkConf = new sparkConf().setMaster("local[*]").setAppName("spark") // * 号代表,当前电脑有几个核心就分几个线程,不写就是用单线程,[]中括号内的数字代表线程数 val sparkCo 阅读全文
posted @ 2022-08-20 09:46 lambertlt 阅读(66) 评论(0) 推荐(0) 编辑
摘要: 三大数据结构: RDD:弹性分布式数据集 累加器:分布式共享只写变量 广播变量:分布式共享只读变量 阅读全文
posted @ 2022-08-18 19:55 lambertlt 阅读(10) 评论(0) 推荐(0) 编辑
摘要: spark 应用程序提交到 yarn 环境中,一般有两种部署执行的方式:Client 和 Cluster 两种模式主要区别:Driver 程序的运行节点位置 任务之间的依赖不可形成闭环即任务RDD不可以有闭环 阅读全文
posted @ 2022-08-18 18:15 lambertlt 阅读(46) 评论(0) 推荐(0) 编辑
摘要: idea 下使用 Scalc 实现 wordCount idea -> 进入 plugins 安装 Scala 插件需重新启动 idea 进入 project structure -> 下载 Scala SDK (速度很慢很慢,耐心等待,下载不全会导致后面编译运行程序出bug)如下图点击加号下载即可 阅读全文
posted @ 2022-08-18 09:30 lambertlt 阅读(275) 评论(0) 推荐(0) 编辑
摘要: docker spark单机集群的部署 下载官方镜像 bitnami/spark latest 运行该镜像 docker run -itd -p 8080:8080 -p 7077:7077 --name=spark --network=spark_network -e SPARK_MODE=mas 阅读全文
posted @ 2022-08-16 17:41 lambertlt 阅读(287) 评论(0) 推荐(0) 编辑
摘要: 点击链接跳转 阅读全文
posted @ 2022-08-16 08:39 lambertlt 阅读(66) 评论(0) 推荐(0) 编辑
上一页 1 ··· 3 4 5 6 7 8 9 10 11 ··· 28 下一页