摘要： 下载： Eclipse需要Jdk，MyEclipse有自带的Jdk 直接点击下载。 Windows下JDK安装： 双击运行程序 下一步： 路径 更改到E:\Software\Java\jre1.8.0_171 等待。。。。。 已成功安装界面，点击关闭。一般java开发人员，都需要配套的API文档。 阅读全文

摘要： 一、设置zookeeper开机自启动 master节点 vim start_zookeeper.sh #!/bin/shsource /home/hadoop/.bashrccd $ZOOKEEPER_HOMEbin/zkServer.sh start slave1节点 vim start_zook 阅读全文

摘要： 一、storm版本 选用storm0.9.6 二、本地模式 用于对storm业务逻辑的调试和测试，可以直接在本地运行。 三、分布式模式 生产环境，需要对应的zookeeper、nimbus、supervisor和storm UI 四、主节点Nimbus。 nimbus作为storm的核心，肩负着对t 阅读全文

摘要： 一、什么是Storm Strom是由Twitter开源的类似于Hadoop的实时数据处理框架。Strom是分布式流式数据处理系统，强大的分布式集群管理、便捷的针对流式数据的编程模型、高容错保障这些都是其成为流式实时数据处理的首选。 二、Storm特点与优势 1）易用：为复杂的流计算模型提供了丰富的服 阅读全文

摘要： 概念 实时流式计算： 大数据环境下，流式数据将作为一种新型的数据类型，这种数据具有连续性、无限性和瞬时性。是实时数据处理所面向的数据类型，对这种流式数据的实时计算就是实时流式计算。 特征 实时流式计算与传统的数据处理技术不同，其具有一下特点： 低延迟：从处理的数据角度来看，每一条数据都可以在有限的时 阅读全文

摘要： 使用hadoop+myeclipse开发项目是测试运行报错： log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory). log4j:WARN Pl 阅读全文

摘要： 准备下载Azkaban2.5.0:https://azkaban.github.io/downloads.htm 准备插件： 一、MySQL安装与配置 启动数据库并查看状态:sudo service mysqld start sudo service mysqld status 登陆mysql：以r 阅读全文

摘要： Azkaban和Oozie的区别： 当前，实际生产中最流行的两种Hadoop工作流引擎是Azkaban与Oozie。但活跃度最高的当是Azkaban了，下面对两者的异同之处作如下对比。 功能对比 Azkaban和Oozie都可以调用像linux、mapreduce、pig、spark、java等脚本 阅读全文

摘要： Azkaban是什么 Azkaban是由Linkedin开源的做批量工作流任务的调度器。在一个工作流内按照特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的相互依赖关系，并且提供了一个易于使用的web用户界面维护与跟踪你的工作流。 Azkaban的功能特点： web用 阅读全文