随笔分类 -  hadoop

Hadoop 的常用组件一览
摘要：Apache Hadoop 项目有两个核心组件，被称为 Hadoop 分布式文件系统 (Hadoop Distributed File System, HDFS) 的文件存储，以及被称为 MapReduce 的编程框架。有一些支持项目充分利用了 HDFS 和 MapReduce。 HDFS： 如果您... 阅读全文
posted @ 2015-02-04 20:03 itank 阅读(14593) 评论(0) 推荐(1) 编辑
hadoop mapreduce 基础实例一记词
摘要：mapreduce实现一个简单的单词计数的功能。一，准备工作：eclipse 安装hadoop 插件:下载相关版本的hadoop-eclipse-plugin-2.2.0.jar到eclipse/plugins下。二，实现:新建mapreduce project map 用于分词，reduce计数。... 阅读全文
posted @ 2015-01-05 14:09 itank 阅读(732) 评论(0) 推荐(0) 编辑
hadoop 分布式开发环境搭建
摘要：一，安装java环境添加java环境变量vi /etc/profile# add by tankexport JAVA_HOME=/data/soft/jdk/jdk1.7.0_71export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME... 阅读全文
posted @ 2014-12-24 15:28 itank 阅读(16991) 评论(0) 推荐(0) 编辑
虚拟机部署hadoop集群准备工作之多虚拟机设置网络信息
摘要：安装好了centos6.4（最简版）后1，静态IP设置查看虚拟机的网络设置信息来配置/etc/sysconfig/network-scripts/ifcfg-eth0DEVICE=eth0HWADDR=00:0C:29:2B:AF:3DTYPE=EthernetUUID=2b34b38c-f4ca-... 阅读全文
posted @ 2014-12-24 15:22 itank 阅读(1473) 评论(0) 推荐(0) 编辑
hadoop datanode 启动出错
摘要：FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for block pool Block pool BP-336454126-127.0.0.1-1419216478581 (storage i... 阅读全文
posted @ 2014-12-22 11:36 itank 阅读(13965) 评论(2) 推荐(0) 编辑
hadoop 开发环境搭建
摘要：一，安装java环境添加java环境变量vi /etc/profile# add by tankexport JAVA_HOME=/data/soft/jdk/jdk1.7.0_71export JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME... 阅读全文
posted @ 2014-12-18 23:48 itank 阅读(1541) 评论(0) 推荐(0) 编辑
ssh免密码登录
摘要：配置SSH无密码登录需要3步： 1.生成公钥和私钥 2.导入公钥到认证文件,更改权限 3.测试1.生成公钥和私钥Shell代码 ssh-keygen -t rsa 默认在 ~/.ssh目录生成两个文件： id_rsa ：私钥 id_rsa.pub ：公钥2.导入公钥到认证文件,更改权限 2.1 ... 阅读全文
posted @ 2014-12-18 23:33 itank 阅读(22363) 评论(0) 推荐(0) 编辑
Hadoop端口说明
摘要：Hadoop端口说明：默认端口 设置位置 描述信息8020 namenode RPC交互端口8021 JT RPC交互端口50030 mapred.job.tracker.http.address JobTracker administrative web GUI JOBTRACKER的HTTP服务... 阅读全文
posted @ 2014-09-19 14:32 itank 阅读(4586) 评论(1) 推荐(0) 编辑
hadoop 2.5 安装部署
摘要：hadoop 下载地址：http://mirrors.cnnic.cn/apache/hadoop/common/单机伪分布配置文件：/hadoop-2.5.1/etc/hadoop/hadoop-env.sh修改export JAVA_HOME=${JAVA_HOME}//jdk安装目录core-... 阅读全文
posted @ 2014-09-19 10:35 itank 阅读(545) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示