上一页 1 2 3 4 5 6 7 8 9 10 ··· 17 下一页
2014年7月10日
wso2as安装
摘要： 1.系统环境Ubuntu12.04 192.168.0.97 root/密码找管理员Ubuntu12.04 192.168.0.99 root/密码找管理员2.安装的必备条件JDK 1.6.24 orlater / 1.7.* 已经证明了1.8不支持。内存最好2G以上，硬盘1G以上。3.安装步骤下载... 阅读全文
posted @ 2014-07-10 22:32 JamesFan 阅读(229) 评论(0) 推荐(0) 编辑
如何使用Hadoop的Partitioner
摘要： 如何使用Hadoop的Partitioner博客分类：HadoophadooppartitionHadoop里面的MapReduce编程模型，非常灵活，大部分环节我们都可以重写它的API，来灵活定制我们自己的一些特殊需求。今天散仙要说的这个分区函数Partitioner，也是一样如此，下面我们先来看... 阅读全文
posted @ 2014-07-10 00:31 JamesFan 阅读(292) 评论(0) 推荐(0) 编辑
Hadoop中Partition的定制
摘要： 1.解析PartitionMap的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出，下面我们就来分析参与这个过程的类。Mapper的结果，可能送到Combiner做合并，Combiner在系统中并没有自己的基类，而是用... 阅读全文
posted @ 2014-07-10 00:10 JamesFan 阅读(371) 评论(0) 推荐(0) 编辑
Hadoop Reducer个数设置
摘要： 在默认情况下，一个MapReduceJob如果不设置Reducer的个数，那么Reducer的个数为1。具体，可以通过JobConf.setNumReduceTasks(intnumOfReduceTasks)方法来设置Reducer的个数。那么，如何确定Reducer的个数呢，Hadoopdocu... 阅读全文
posted @ 2014-07-10 00:09 JamesFan 阅读(701) 评论(0) 推荐(0) 编辑
2014年7月9日
Hadoop的namenode和secondnamenode分开部署在不同服务器
摘要： 一、系统环境：Hadoop 0.20.2、JDK 1.6、Linux操作系统二、使用背景网上关于Hadoop的集群配置，很多情况下，都是把namenode和secondnamenode部署在同一服务器上。为了降低风险，一个大的集群环境，最好是把这两个配置到不同的服务器上。三、操作要达到这要求，需要对... 阅读全文
posted @ 2014-07-09 16:20 JamesFan 阅读(1018) 评论(0) 推荐(0) 编辑
hadoop主节点（NameNode）备份策略以、恢复方法、操作步骤
摘要： 一、dits和fsimage首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中... 阅读全文
posted @ 2014-07-09 16:15 JamesFan 阅读(784) 评论(0) 推荐(0) 编辑
2014年7月4日
pig入门教程(2)
摘要： 本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解，此外，作者还在不断地添加本文的内容，希望能帮助一部分人。要查看Pig系列教程，请点... 阅读全文
posted @ 2014-07-04 15:27 JamesFan 阅读(703) 评论(0) 推荐(0) 编辑
pig 入门教程（1）
摘要： 出处：http://www.codelast.com/本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelas... 阅读全文
posted @ 2014-07-04 15:25 JamesFan 阅读(1072) 评论(0) 推荐(0) 编辑
crontab简易入门
摘要： 前言crontab是Unix和Linux用于设置周期性被执行的指令，是互联网很常用的技术，很多任务都会设置在crontab循环执行，如果不使用crontab，那么任务就是常驻程序，这对你的程序要求比较高，一个要求你的程序是24X7小时不宕机，一个是要求你的调度程序比较可靠，实际工作中，90%的程序都... 阅读全文
posted @ 2014-07-04 15:23 JamesFan 阅读(284) 评论(0) 推荐(0) 编辑
Ubuntu下crontab命令的用法
摘要： cron是一个Linux下的后台进程，用来定期的执行一些任务。因为我用的是Ubuntu，所以这篇文章中的所有命令也只能保证在Ubuntu下有效，但其他系统应该也差不多。想要让cron执行你指定的任务，首先就要编辑crontab文件。crontab是一个文本文件，用来存放你要运行的命令。你可以以下命令... 阅读全文
posted @ 2014-07-04 15:03 JamesFan 阅读(193) 评论(0) 推荐(0) 编辑
2014年7月2日
Hadoop Map/Reduce教程
摘要： Hadoop Map/Reduce教程目的先决条件概述输入与输出例子：WordCount v1.0源代码用法解释Map/Reduce - 用户界面核心功能描述MapperReducerPartitionerReporterOutputCollector作业配置任务的执行和环境作业的提交与监控作业的控... 阅读全文
posted @ 2014-07-02 21:32 JamesFan 阅读(375) 评论(0) 推荐(0) 编辑
map-reduce的八个流程
摘要： 下面讲解这八个流程Inputformat——》map——》（combine）——》partition——》copy&merge——》sort——》reduce——》outputformatFileSplit:文件的子集--文件分割体0. 简介：这篇文档描述在hadoop中map和reduce操作是怎... 阅读全文
posted @ 2014-07-02 21:29 JamesFan 阅读(2729) 评论(0) 推荐(0) 编辑
2014年7月1日
并行fp-growth图解(mahout)
摘要： FP-growthApriori算法的一个主要瓶颈在于，为了获得较长的频繁模式，需要生成大量的候选短频繁模式。FP-Growth算法是针对这个瓶颈提出来的全新的一种算法模式。目前，在数据挖掘领域，Apriori和FP-Growth算法的引用次数均位列三甲。参看... 阅读全文
posted @ 2014-07-01 23:27 JamesFan 阅读(775) 评论(0) 推荐(0) 编辑
Sqoop的安装与使用
摘要： Sqoop的安装与使用2013年08月12日⁄hadoop及周边,sqoop⁄ 共 1674字 ⁄ 字号小中大⁄4条评论⁄ 阅读 3,766 views 次Sqoop是一个转换工具，用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图以下操作就是使用sqoop在mysql和hdfs之间转换数... 阅读全文
posted @ 2014-07-01 16:53 JamesFan 阅读(160) 评论(0) 推荐(0) 编辑
2014年6月30日
深入理解Hadoop集群和网络
摘要： 原文地址http://bradhedlund.com/2011/09/10/understanding-hadoop-clusters-and-the-network/本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实生活中运行... 阅读全文
posted @ 2014-06-30 22:48 JamesFan 阅读(991) 评论(0) 推荐(0) 编辑
datanode与namenode的通信原理
摘要： 在分析DataNode时,因为DataNode上保存的是数据块,因此DataNode主要是对数据块进行操作.**A.DataNode的主要工作流程:**1.客户端和DataNode的通信:客户端向DataNode的`数据块读写`,采用TCP/IP流接口(DataXceiver)进行数据传输2.客户端... 阅读全文
posted @ 2014-06-30 16:33 JamesFan 阅读(2141) 评论(0) 推荐(0) 编辑
Hadoop添加节点datanode(生产环境)
摘要： Hadoop添加节点datanode博客分类：hadoopHadoopSSHJDKXML工作1.部署hadoop 和普通的datanode一样。安装jdk，ssh2.修改host 和普通的datanode一样。添加namenode的ip3.修改namenode的配置文件conf/slaves 添加新... 阅读全文
posted @ 2014-06-30 16:16 JamesFan 阅读(790) 评论(0) 推荐(0) 编辑
Hadoop中HDFS工作原理
摘要： Hadoop其实并不是一个产品，而是一些独立模块的组合。主要有分布式文件系统HDFS和大型分布式数据处理库MapReduce。由于目前主要用到HDFS，所以这里看一下它的工作原理，以及相应的介绍下配置。什么是HDFS？HadoopDistributed File System，字面意思，Hadoop... 阅读全文
posted @ 2014-06-30 14:21 JamesFan 阅读(193) 评论(0) 推荐(0) 编辑
实现hadoop中的机架感知
摘要： hadoop中声明是有机架感知的功能，能够提高hadoop的性能。平时我们使用的hadoop集群，实际上是从来没有使用上这个功能的。 hadoop中所说的机架感知的实现实际上这样的：hadoop启动时会检查hadoop-default.xml和hadoop-site.xml中的一个配置选项：topo... 阅读全文
posted @ 2014-06-30 14:12 JamesFan 阅读(524) 评论(0) 推荐(0) 编辑
2014年6月28日
hadoop集群监控工具Apache Ambari安装配置教程
摘要： ambari 1.2.4 下载地址：http://www.apache.org/dist/incubator/ambari/ambari-1.2.4/ambari-1.2.4-incubating.tar.gz官方手册：http://incubator.apache.org/ambari/1.2.4... 阅读全文
posted @ 2014-06-28 20:21 JamesFan 阅读(542) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 9 10 ··· 17 下一页