摘要: 1. 准备 搭建好zookeeper集群 准备好kafka安装包 官方下载:http://kafka.apache.org/downloads 2. 安装kafka 3. 配置环境(同时操作三台) 4. 配置文件 5. 启动kafka 6. 测试 阅读全文
posted @ 2020-04-29 13:03 狮子对你微笑 阅读(135) 评论(0) 推荐(0) 编辑
摘要: 1. 依赖 2. 表数据对象 3. listener 4. 数据导入 阅读全文
posted @ 2020-04-29 11:53 狮子对你微笑 阅读(213) 评论(0) 推荐(0) 编辑
摘要: 1. RDD算子分类 1.1 Transformation Transformation(转换):根据数据集创建一个新的 数据集,计算后返回一个新的RDD。例如,一个RDD进行map操作后,生成了新的RDD。 RDD中的所有转换都是延迟加载的,也就是说,他们并不会直接计算结果。相反的,他们只是记住这 阅读全文
posted @ 2020-04-22 15:34 狮子对你微笑 阅读(167) 评论(0) 推荐(0) 编辑
摘要: 1. 前提条件 1.1 创建3台虚拟机,且配置好网络,建立好互信。 1.2 Java1.8 环境配置 1.3 "Hadoop2.7.7分布式 完成搭建" 1.4 Scala软件包和Spark软件包的下载 https://www.scala lang.org/download/ http://spar 阅读全文
posted @ 2020-04-17 15:21 狮子对你微笑 阅读(159) 评论(0) 推荐(0) 编辑
摘要: 1. 问题描述 在运行代码之后,出现以下错误: 经查询之后,是由于JVM花费太长时间执行GC且只能回收很少的堆内存时抛出的 一般可以通过更改JVM启动配置增加堆大小来解决 参考:https://blog.csdn.net/github_32521685/article/details/8995379 阅读全文
posted @ 2020-04-12 23:39 狮子对你微笑 阅读(2881) 评论(0) 推荐(0) 编辑
摘要: 二、配置文件 1. 配置文件 SpringBoot使用一个全局的配置文件,配置文件名是固定的 application.properies application.yml 配置文件的作用:修改SpringBoot自动配置的默认值;SpringBot在底层都给我们自动配置好; YAML (YAML An 阅读全文
posted @ 2020-03-17 12:35 狮子对你微笑 阅读(191) 评论(0) 推荐(0) 编辑
摘要: 一、Spring Boot入门 1.Spring Boot简介 "官方文档" 简化Spring应用开发的一个框架 整个Spring技术栈的一个大整合 J2EE开发的一站式解决方案 2.微服务 2014,martin fowler 微服务:架构风格 一个应用应该是一组小型服务;可以通过Http的方式进 阅读全文
posted @ 2020-03-16 16:42 狮子对你微笑 阅读(168) 评论(0) 推荐(0) 编辑
摘要: 1. 准备环境 1. 安装操作系统Cenos 2. 配置yum源 yum:https://developer.aliyun.com/mirror/ 3. Nginx依赖 gcc c++ zlib pcre openssl openssl devel 4. Nginx和扩展模块 Nginx本身只是一个 阅读全文
posted @ 2020-03-12 14:50 狮子对你微笑 阅读(2136) 评论(0) 推荐(1) 编辑
摘要: String内置对象的方法 1. concat() concat() – 将两个或多个字符的文本组合起来,返回一个新的字符串 2. charAt() charAt() – 返回指定位置的字符 3. charCodeAt() charCodeAt() – 返回在指定的位置的字符的 Unicode 编码 阅读全文
posted @ 2020-03-07 15:59 狮子对你微笑 阅读(229) 评论(0) 推荐(0) 编辑
摘要: 1. 准备数据源 摘录了一片散文,保存格式为utf 8 2. 准备环境 2.1 搭建伪分布式环境 https://www.cnblogs.com/cjq10029/p/12336446.html 上传数据源文件到hdfs中创建的in目录下 2.2 下载相关资源 下载hadoop277 链接:http 阅读全文
posted @ 2020-03-04 21:30 狮子对你微笑 阅读(883) 评论(0) 推荐(0) 编辑