摘要： 一.练习目标 1.Flume.监控/tmp/logs/update.log文件 2.创建日志生成的脚本，写入/tmp/logs/update.log。 3.Flume捕获数据 4.将捕获的数据，推送到消息队列kafka 5.在Kafka模拟数据消费 二.详细步骤 1.解压并安装flume 解压到指定 阅读全文

摘要： 一、下载kafka安装包 下载路径：http://kafka.apache.org/downloads 并上传到linux机器中 解压到指定目录：tar -zxvf kafka2.11/ -C /opt/soft/ 二、添加环境变量 vim /etc/profile加入下图环境变量: 三、修改kaf 阅读全文

摘要： 1.编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAs 阅读全文

摘要： 一、前提条件 1.1创建3台虚拟机，且配置好网络，建立好互信。 1.2 Java1.8环境已经配置好 1.3 Hadoop2.7.7集群已经完成搭建，具体参见我的博客https://www.cnblogs.com/theyang/p/12363276.html 1.4 Scala软件包和Spark软 阅读全文

摘要： 一、概述 1. RPC 的全称是 Remote Procedure Call（远程过程调用）是一种进程间通信方式2. 它允许程序调用另一个地址空间（通常是共享网络的另一台机器上）的过程或函数，而不用程序员显式编码这个远程调用的细节。 即程序员无论是调用本地的还是远程的，本质上编写的调用代码基本相同 阅读全文

摘要： 一、概述 1. 数据序列化就是将对象或者数据结构转化成特定的格式，使其可在网络中传输，或者可存储在内存或者文件中2. 反序列化则是相反的操作，将对象从序列化数据中还原出来数据序列化的重点在于数据的交换和传输 二、衡量标准 1. 序列化之后的数据大小。因为序列化的数据要通过网络进行传输或者是存储在内存 阅读全文

摘要： 一、IP去重示例 数据文件： 192.168.10.111 192.168.10.111 10.32.100.111 192.168.21.111 192.168.10.112 192.168.10.111 192.168.11.111 192.168.12.112 192.168.11.111 I 阅读全文

摘要： 一、准备环境 1.下载wget、lrzsz工具 yum install -y wget yum install -y lrzsz 2.备份系统原来的repo文件 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.rep 阅读全文

摘要： 现有需求如下： 荆州市洪湖市万全镇张当村共有300户居民 因疫情原因隔离在家 现在要求代购下面的商品(随机构造一些商品 数量随机)1.洗漱用品 脸盆、杯子、牙刷和牙膏、毛巾、肥皂(洗衣服的)以及皂盒、洗发水和护发素、沐浴液...2.床上用品 比如枕头、枕套、枕巾、被子、被套、棉被、毯子、床垫、凉席等 阅读全文

摘要： 现有需求： 统计李白将进酒每个字出现的次数 君不见黄河之水天上来，奔流到海不复回。 君不见高堂明镜悲白发，朝如青丝暮成雪。 人生得意须尽欢，莫使金樽空对月。 天生我材必有用，千金散尽还复来。 烹羊宰牛且为乐，会须一饮三百杯。 岑夫子，丹丘生，将进酒，杯莫停。 与君歌一曲，请君为我倾耳听。 钟鼓馔玉不 阅读全文