2016年12月5日
一个典型的MapRuduce实例------webcount（网站统计访客信息）
摘要： 统计某一特定网站的某个时辰访客人数 所用版本：hadoop2.6.5 数据样式如下： 辅助类 mapper 映射特定年份中每月每天每个时辰的访客数 reducer 汇总一个时辰内访客人数 driver 配置信息，程序入口 command result 阅读全文
posted @ 2016-12-05 01:17 learn21cn 阅读(702) 评论(0) 推荐(0) 编辑
CentOS7中防火墙的一些常用配置
摘要： 官方文档以及常用参考： https://access.redhat.com/documentation/zh-CN/Red_Hat_Enterprise_Linux/7/html/Security_Guide/sec-Using_Firewalls.html https://www.server-w 阅读全文
posted @ 2016-12-05 00:36 learn21cn 阅读(2393) 评论(0) 推荐(0) 编辑
2016年12月4日
MapRedue开发实例
摘要： 一些例子，所用版本为hadoop 2.6.5 1、统计字数 数据格式如下（单词，频数，以tab分开）： 2、统计用户在网站的停留时间 数据格式（用户，毫秒数，网站，以tab分开）： 运行：hadoop jar ~/c02mrtest.jar com.mr.test.MRWeb TestData/we 阅读全文
posted @ 2016-12-04 00:33 learn21cn 阅读(664) 评论(0) 推荐(1) 编辑
2016年12月3日
HDFS开发实例
摘要： 1、列出HDFS中的文件 注： 1> 如果出现了java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries 这种错误，可以通过设置设置HADOOP_HOME 环境变量来解决 阅读全文
posted @ 2016-12-03 03:56 learn21cn 阅读(1089) 评论(0) 推荐(0) 编辑
2016年11月26日
Hadoop分布式系统的安装部署
摘要： 关于hadoop完全分布式的安装与部署。 阅读全文
posted @ 2016-11-26 05:08 learn21cn 阅读(646) 评论(0) 推荐(0) 编辑