摘要：
一、麒麟系统的简介： 麒麟操作系统桌面 V10 是基于 ubuntu 的系统底层进行开发的，所有的安装包都是 deb 格式的，安装软件包一般都是 dpkg 或者 apt-get 的方式，并且它的目录结构为树结构，不同于windows 的操作系统，但是也实现了 windows 的目录显示结构以 C 盘 阅读全文
摘要：
一、准备kafka 1.1 zookeeper 官网下载地址：http://mirror.bit.edu.cn/apache/zookeeper/ 准备好kafka安装包，官网下载地址：http://kafka.apache.org/downloads.html 我用的：kafka_2.11-0.1 阅读全文
摘要：
一、Transformation算子练习 一、map(func) 说明:返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成 scala> var source = sc.parallelize(1 to 10) source: org.apache.spark.rdd.RDD[I 阅读全文
摘要：
一、准备 1.1 先搭建好hadoop集群，参考https://www.cnblogs.com/the-roc/p/12362926.html 1.2 配置好 Java 1.8环境（hadoop集群搭建时就配置过） 1.3 准备好和hadoop版本一样的jar包 scala-2.13.0.tgz s 阅读全文
摘要：
一、什么是RPC？ 1. RPC 的全称是 Remote Procedure Call（远程过程调用）是一种进程间通信方式2. 它允许程序调用另一个地址空间（通常是共享网络的另一台机器上）的过程或函数，而不用程序员显式编码这个远程调用的细节。 即程序员无论是调用本地的还是远程的，本质上编写的调用代码 阅读全文
摘要：
一、什么是Avro? 1. Avro是一种远程过程调用和数据序列化框架，是在Apache的Hadoop项目之内开发的2. 它使用JSON来定义数据类型和通讯协议，使用压缩二进制格式来序列化数据3. 它主要用于Hadoop，它可以为持久化数据提供一种序列化格式，并为Hadoop节点间及从客户端程序到H 阅读全文
摘要：
一、准备环境 1.1 下载 yum install -y wget yum install -y lrzsz 1.2 配置阿里云yum源 wget -o /etc/yum.repos.d/CentOS-Base.repo.aliyun http://mirrors.aliyun.com/repo/C 阅读全文
摘要：
一、准备 1.1 下载插件 链接: https://pan.baidu.com/s/15ol7KuQ4mNeAro_pCTnjDA 提取码: 7fq3 1.1.1 将hadoop-eclipse-plugin-2.7.3.jar 放到eclipse的plugins中 1.1.2 把编译后的文件放到h 阅读全文
摘要：
一，准备 1.1导入相关jar包 1.2准备数据源 我选了一首歌 二、相关代码 2.1 Map类 public class WordCountMapper extends Mapper<LongWritable, Text, Text, IntWritable>{ private static Li 阅读全文
摘要：
一、HDFS客户端写流程 1.客户端请求上传数据到服务器 2.服务器接收到这个请求，然后到自己的元数据里面去查询，元数据中是否记录了该文件的存在 3.NN响应客户端是否可以上传 4.服务器会发送再次请求，需要上传多大的数据文件 5.服务器会根据上传文件大小进行调度，返回要上传的DataNode节点 阅读全文