cerofang - 博客园

2019年6月28日

摘要： hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意：apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，所以如果在64位的操作上安装hado 阅读全文

posted @ 2019-06-28 17:55 cerofang 阅读(590) 评论(0) 推荐(0) 编辑

day3_day6

摘要：通过案例学习MAPREDUCE教程 1. wordcount示例开发 1.1. wordcount程序整体运行流程示意图 map阶段：将每一行文本数据变成<单词,1>这样的kv数据 reduce阶段：将相同单词的一组kv数据进行聚合：累加所有的v 注意点：mapreduce程序中， map阶段的进阅读全文

posted @ 2019-06-28 17:53 cerofang 阅读(215) 评论(0) 推荐(0) 编辑

HBASE组件

摘要： 1. zookeeper快速上手 1.1. zookeeper的基本功能和应用场景 1.2. zookeeper的整体运行机制 1.3. zookeeper的数据存储机制 1.3.1. 数据存储形式 zookeeper中对用户的数据采用kv形式存储只是zk有点特别： key：是以路径的形式表示的，阅读全文

posted @ 2019-06-28 17:51 cerofang 阅读(513) 评论(0) 推荐(0) 编辑

HIV组件

摘要：启动HIV 启动hiv的前提条件是HDFS和YARN都可以正常在启动中 /apps/apache-hive-1.2.1-bin/bin/hive 查询HIV的sql语句 select sex,count(1) from t_bigdata group by male ; hive的脚本化运行使用方式阅读全文

posted @ 2019-06-28 14:02 cerofang 阅读(428) 评论(0) 推荐(0) 编辑

2019年3月22日

Redis单机操作

摘要： YUM快速安装redis https://www.cnblogs.com/hjw-zq/p/9778514.html redis安装参考文档并设置开机启动 https://www.cnblogs.com/shanhua-fu/p/10332651.html redis设置密码 https://www 阅读全文

posted @ 2019-03-22 18:23 cerofang 阅读(151) 评论(0) 推荐(0) 编辑

2019年3月14日

Scala

摘要： Unit01 阅读全文

posted @ 2019-03-14 11:30 cerofang 阅读(202) 评论(0) 推荐(0) 编辑

2019年3月8日

RDD算子

摘要： RDD算子 spark RDD api 阅读全文

posted @ 2019-03-08 09:38 cerofang 阅读(464) 评论(0) 推荐(0) 编辑

2019年3月2日

hadoop常用操作命令

摘要： #############centos6.8IP常用操作命令#######################DEVICE=eth0TYPE=EthernetONBOOT=yesNM_CONTROLLED=yesBOOTPROTO=staticIPADDR=192.168.3.131GATEWAY=19 阅读全文

posted @ 2019-03-02 12:21 cerofang 阅读(655) 评论(0) 推荐(0) 编辑

2019年2月14日

spring框架

摘要： 1，新建一个java的动态web工程； 2，建立一个user类 package cn.nsf.bean; public class User { private String name; private Integer age; public String getName() { return na 阅读全文

posted @ 2019-02-14 15:04 cerofang 阅读(83) 评论(0) 推荐(0) 编辑

Java编程目录

摘要：目录结构 java常用数据类型使用 https://www.cnblogs.com/cerofang/p/10250535.html java中的排序 https://www.cnblogs.com/cerofang/p/10273188.html java中对文件的基本操作 https://www 阅读全文

posted @ 2019-02-14 14:18 cerofang 阅读(102) 评论(0) 推荐(0) 编辑

公告