摘要：
Spark 版本为 3.0.0，默认采用的 Scala 编译版本为 2.12 1. 创建名为spark-project 的项目 2. 将src 删除，把spark-project 当成一个父项目，并在该项目下创建一个moule ,spark-core (子项目) 2.scala-idea 插件下载安 阅读全文
摘要：
linux 环境变量可以在多个文件中配置 说明： linux bash 运行模式分为两种： login shell 和non-login shell, 两种登录模式启动是加载的配置文件不一样。 1. /etc/profile > login shell > 输入用户名和密码登录系统 2. ~/.ba 阅读全文
摘要：
1. 查看当前文件夹下文件或文件夹所占磁盘的大小 du -sh *|sort -rh 2. 查找某个进程号，脚本或程序所在目录的方法 ll /proc/进程id 3. awk 的用法 （1）累加： awk '{ sum+=$2} END {print sum}' some_file （2）awk 当 阅读全文
摘要：
hadoop.apache.orgspark.apache.orgflink.apache.orghadoop :HDFS/YARN/MAPREDUCE HDFS读写流程 NameNode DataNode SecondaryNameNode 写流程 1. 客户端请求NameNode (几副本，bl 阅读全文
摘要：
1. #!/bin/bash #1. 判断参数个数 if [ $# -lt 1 ] then echo Not Enough Arguement! exit; fi #2. 遍历集群所有机器 for host in hadoop102 hadoop103 hadoop104 do echo $hos 阅读全文
摘要：
什么是Kafka 1.Apache Kafka是一个开源消息系统，由Scala写成。 2.Kafka是一个分布式消息队列。Kafka对消息保存时根据Topic进行归类，发送消息者称为Producer，消息接受者称为Consumer，此外kafka集群有多个kafka实例组成，每个实例(server) 阅读全文
摘要：
Flink 运行时的组件 作业管理器（JobManager） •控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager 所控制执行。 •JobManager 会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑数据流图（logical d 阅读全文
摘要：
flink word count 程序 1. 数据集模式 pom.xml 文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://ww 阅读全文
摘要：
需求分析 1) 微博内容的浏览，数据库表设计 2) 用户社交体现：关注用户，取关用户 3) 拉取关注的人的微博内容 表结构 代码实现 1) 创建命名空间以及表名的定义 2) 创建微博内容表 3) 创建用户关系表 4) 创建用户微博内容接收邮件表 5) 发布微博内容 6) 添加关注用户 7) 移除（取 阅读全文
摘要：
数据导入 向表中装载数据（Load） 1.语法 load data [local] inpath '数据的 path' [overwrite] into table student [partition (partcol1=val1,…)]; （1）load data:表示加载数据 （2）local 阅读全文