摘要：
1.什么是kafka？ kafka是分布式发布-订阅消息系统，是一种分布式的消息队列工具 kafka是一个分布式的，可分区的，可复制的消息系统 kafka对消息保存的时候根据topic进行分类，发送消息者称为Producer，消息接受者称为consumer，此外kafka集群由多个kafka实例组成 阅读全文
摘要：
之前投过游戏场的，好像笔试没过（？？？？）后来显示已结束就联系群里HR小姐姐帮我捞出来，没想到被测开岗捞走了，我是做java后端的，HR告诉我测开也是偏后端的，所以我就试试，经过了几天的 面试，在这过程中整个人非常焦虑。。。废话不多说，先上面经。 一面 53分钟（项目+基础+算法） 一面约的是晚上1 阅读全文
摘要：
引用博客：https://blog.csdn.net/yujuan110/article/details/78457259 前提条件：1.jdk1.8 2.三台节点 3./etc/hosts 地址映射 4.SSH免密登录 5.下载安装包：hadoop-bin-2.6.4 解压 tar -zxvf h 阅读全文
摘要：
1.上传zk安装包 2.解压 3.配置（先在一台节点上配置） 3.1添加一个zoo.cfg配置文件 $ZOOKEEPER/conf mv zoo_sample.cfg zoo.cfg 3.2修改配置文件（zoo.cfg） dataDir=/hadoop/zookeeper-3.4.5/data se 阅读全文
摘要：
1.安装zk集群 2.config/server.properties添加zk地址:zookeeper.connect=node-1:2181,node-2:2181,node-3:2181修改broker.id(唯一的)：broker.id=0 3.启动/bin/kafka-server-star 阅读全文
摘要：
以启动kafka为例，如果启动的是守护进程，当ctrl+c后关闭运行体进程关闭，所以最好以后台进程的方式启动 阅读全文
摘要：
需求： 使用Flume读取Linux的文本文件，将文本文件中的数据发送到kafka 前置条件： 安装好zk集群，安装好kafka集群 配置Flume 1.在Flume官方下载最新的flume wget http://mirrors.shu.edu.cn/apache/flume/1.9.0/apac 阅读全文
摘要：
后期项目需要，在web项目中嵌入Hbase、Redis等其他javaAPI 参考网址： https://blog.csdn.net/qq_28804275/article/details/80891941 https://blog.csdn.net/liwen19870618/article/det 阅读全文
摘要：
一、sqoop安装 安装sqoop的前提是已经具备java和hadoop的环境 1、下载并解压 最新版下载地址http://ftp.wayne.edu/apache/sqoop/1.4.6/ 2、修改配置文件 打开sqoop-env.sh并编辑下面几行： 3、加入mysql的jdbc驱动包 若无，则 阅读全文
摘要：
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 它有如下功能特点： ² Web用户界面 ² 方便上传工作流 阅读全文