2019年6月24日
Hadoop HA 架构
摘要： 为什么要用集群?企业里面,多台机器 伪分布式 每一个角色都是一个进程HDFS:NNSNNDNYARN:RMNM大数据所有组件, 都是主从架构 master-slaveHDFS读写请求都是先到NN节点,但是,HBase 读写请求不是经过master, 建表和删除表是需要经过masterNN节点挂了,就不能提供对外服务 (-put,-get)需要配置两个NN节点(实时的,任何时刻只有一台active... 阅读全文
posted @ 2019-06-24 10:59 BBBone 阅读(323) 评论(0) 推荐(0) 编辑
HDFS与YARN HA部署配置文件
摘要： core-site.xml fs.defaultFS hdfs://ruozeclusterg6 fs.trash.checkpoint.interval 0个路径中 --> hadoop.tmp.dir /home/hadoop/app/hadoop-2.6.0-cdh5.7.0/tmp#hadoop.tmp.dir需要自己创建[hadoop@h... 阅读全文
posted @ 2019-06-24 10:56 BBBone 阅读(151) 评论(0) 推荐(0) 编辑
Zookeeper学习(一)
摘要： shell角度API角度Zookeeper可单节点,可分布式作用: distributed coordination(分布式协调)同一时间只有一个对外提供服务,另外的就是standy.当active挂了,就想standy切过来即可,无感知.监控节点的状态信息,完全可以用过zk来实现安装配置:$ tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz -C ~/apps/... 阅读全文
posted @ 2019-06-24 10:56 BBBone 阅读(230) 评论(0) 推荐(0) 编辑
Kafka学习(一)
摘要： 官网kafka.apache.org集群部署消息中间键 --> 分布式流式平台 Kafka StreamingFlume: 1个进程包含三个角色 source channle sinkKakfa: 每个进程对应一个角色 producer broker consumer Flume --> Kafka --> Spark Streaming/Fink (场... 阅读全文
posted @ 2019-06-24 10:45 BBBone 阅读(196) 评论(0) 推荐(0) 编辑
Azkaban(3.x)编译安装使用
摘要： 官网地址:https://azkaban.readthedocs.ioAzkaban 有三种部署方式：单服务模式、2个服务模式、分布式多服务模式简单实用仅需单服务模式即可2个服务模式,需要配置mysql, Azkaban使用MySQL来存储项目和执行它具有如下功能特点：1、Web用户界面2、方便上传工作流3、方便设置任务之间的关系4、工作流调度5、认证/授权6、能够杀死并重启工作流7、模块化和可... 阅读全文
posted @ 2019-06-24 10:41 BBBone 阅读(582) 评论(0) 推荐(0) 编辑
Spark的Monitoring
摘要： 一、启动历史页面监控配置:$ vi spark-defaults.confspark.eventLog.enabled truespark.eventLog.dir hdfs://hadoop000:8020/g6_directory$ vi spark-env.shSPARK_HISTORY_OPTS="-Dspark.history.fs.log... 阅读全文
posted @ 2019-06-24 10:38 BBBone 阅读(305) 评论(0) 推荐(0) 编辑
2019年6月20日
HBase安装学习
摘要： 一、下载安装$ wget http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz$ tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz -C ~/apps$ cd ~/apps/hbase-1.2.0-cdh5.7.0二、配置文件$ vi conf/hbase-site.xml hbas... 阅读全文
posted @ 2019-06-20 03:31 BBBone 阅读(177) 评论(0) 推荐(0) 编辑
2019年6月19日
Zeppelie连接jdbc的使用
摘要： 1. 下载 wget http://apache.mirror.cdnetworks.com/zeppelin/zeppelin-0.8.1/zeppelin-0.8.1-bin-all.tgz2. 解压 tar -zxvf zeppelin-0.8.1-bin-all.tgz -C ~/app/3. 启动/关闭 ./bin/zeppelin-daemon.sh start/start4. 查看状... 阅读全文
posted @ 2019-06-19 11:52 BBBone 阅读(289) 评论(0) 推荐(0) 编辑
2019年5月15日
REST API接口测试
摘要： 背景介绍为什么要做借口测试?很多系统关联都是基于接口来实现的,接口测试可以将复杂的系统关联进行简化.接口功能比较单一,能够比较好的进行测试覆盖,也相对容易实现自动化持续集成.接口相当于界面功能,会更底层一些,测试覆盖会更容易.软件开发生命周期?接口测试在单口测试后,UI测试之后接口测试可以获得较高的投资回报(接口测试比单元测试的粒度要粗一些)什么是接口测试? (什么是接口: 电梯、开车刹车、搜索引... 阅读全文
posted @ 2019-05-15 01:23 BBBone 阅读(4059) 评论(0) 推荐(0) 编辑
REST API的使用
摘要： 需求描述GET: http://localhost:8080/MyWebsite/user/ Header: Content-Type = application/json Body: 空 Response: 返回所有User对象 Status code: 200GET: http://localhost:8080/MyWebsite/user/{id} Header... 阅读全文
posted @ 2019-05-15 01:21 BBBone 阅读(684) 评论(0) 推荐(0) 编辑