摘要：
一、上传flume并解压 cd /opt/install rztar -zxvf apache-flume-1.6.0-bin.tar.gz -C /opt/softwaremv apache-flume-1.6.0-bin.tar.gz flume-1.6.0 二、添加环境变量 vim vim / 阅读全文
摘要：
一、准备3台服务器（前提:zookeeper集群,） 二、下载路径：http://kafka.apache.org/downloads 三、上传压缩包到三台服务器并解压到指定目录(3台，以hdp03为例) mkdir /opt/kafkacd /opt/install rz tar -zxvf ka 阅读全文
摘要：
RDD算子的分类 Transformation(转换):根据数据集创建一个新的 数据集，计算后返回一个新的RDD。例如，一个RDD进行map操作后，生成了新的RDD。 Action(动作)：对RDD结果计算返回一个数值value给驱动程序，或者把结果存储到外部存储系统中； 例如：collect算子将 阅读全文
摘要：
一、Jsoup爬虫 jsoup 是一款Java 的HTML解析器，可直接解析某个URL地址、HTML文本内容。它提供了一套非常省力的API，可通过DOM，CSS以及类似于jQuery的操作方法来取出和操作数据。 以博客园首页为例 1、idea新建maven工程 pom.xml导入jsoup依赖 <d 阅读全文
摘要：
官网：www.jfinal.com JFinal 是基于 Java 语言的极速 WEB + ORM 框架，由 Handler、Interceptor、Controller、Render、Plugin 五大部分组成。其核心设计目标是开发迅速、代码量少、学习简单、功能强大、轻量级、易扩展、Restful 阅读全文
摘要：
一、前提条件 1、3台虚拟机，java1.8环境配置，hadoop-2.7.7集群搭建(参见https://www.cnblogs.com/yangy1/p/12362565.html，以及https://www.cnblogs.com/yangy1/p/12367462.html中的横向扩容) 2 阅读全文
摘要：
一、MapReduce插件使用（参见https://www.cnblogs.com/yangy1/p/12420047.html） 二、示例 1、CharCount示例 数据文件 I am happy to join with you today in what will go down in hi 阅读全文
摘要：
一、新建maven工程 二、导入pom依赖、插件 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> <de 阅读全文
摘要：
一、安装操作系统（Centos 74） 二、下载软件 yum install -y wget 三、配置yum源 1、阿里云镜像站 https://developer.aliyun.com/mirror/ 2、备份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/y 阅读全文
摘要：
一、下载插件hadoop-eclipse-plugin-2.7.3，将插件放在eclipse的plugins目录下。 链接地址：https://pan.baidu.com/s/1nuCoe0L#list/path=%2F 二、Windows编译后的文件放在hadoop的bin目录下 三、添加hado 阅读全文