07 2014 档案

git clone简介
摘要：git clone简介分类：版本控制2012-06-14 20:4145505人阅读评论(8)收藏举报gitbranchurlsshreferencecommand目录(?)[+]翻译整理自：http://web.mit.edu/~mkgray/project/silk/root/afs/sipb/... 阅读全文
posted @ 2014-07-30 22:42 JamesFan 阅读(291) 评论(0) 推荐(0) 编辑
hadoop slf4j-api 1.6.x (or later) is incompatible with this binding
摘要：hadoop slf4j-api 1.6.x (or later) is incompatible with this binding解决方法：在POM文件最前面加入： org.slf4j slf4j-api 1.7.1 如果还不行，把hadoop/lib hbase/lib... 阅读全文
posted @ 2014-07-29 23:01 JamesFan 阅读(1767) 评论(0) 推荐(0) 编辑
Hbase shell 常用命令
摘要：下面我们看看HBase Shell的一些基本操作命令，我列出了几个常用的HBase Shell命令，如下：名称命令表达式创建表create '表名称', '列名称1','列名称2','列名称N'添加记录 put '表名称', '行名称', '列名称:', '值'查看记录get '表名称', '行名称... 阅读全文
posted @ 2014-07-29 09:44 JamesFan 阅读(400) 评论(0) 推荐(0) 编辑
HTable基本概念
摘要：出处：http://www.taobaotest.com/blogs/1582引言团队中使用HBase的项目多了起来，对于业务人员而言，通常并不需要从头搭建、维护一套HBase的集群环境，对于其架构细节也不一定要深刻理解（交由HBase集群维护团队负责），迫切需要的是快速理解基本技术来解决业务问题。... 阅读全文
posted @ 2014-07-28 17:15 JamesFan 阅读(684) 评论(0) 推荐(0) 编辑
通过HBase Shell与HBase交互
摘要：出处：http://www.taobaotest.com/blogs/1604业务开发测试HBase之旅二：通过HBase Shell与HBase交互yedu发表于：2011-10-11浏览：9029次评论：1次所属分类：分布式系统测试引言HBase提供了丰富的访问接口。• HBase Shell•... 阅读全文
posted @ 2014-07-28 16:35 JamesFan 阅读(248) 评论(0) 推荐(0) 编辑
把Nutch爬虫部署到Hadoop集群上
摘要：原文地址：http://cn.soulmachine.me/blog/20140204/把Nutch爬虫部署到Hadoop集群上Feb 4th, 2014|Comments软件版本：Nutch 1.7, Hadoop 1.2.1, CentOS 6.5, JDK 1.7前面的3篇文章中，Nutch ... 阅读全文
posted @ 2014-07-24 00:06 JamesFan 阅读(332) 评论(0) 推荐(0) 编辑
wso2esb安装及helloworld
摘要：1.系统环境Ubuntu12.04 192.168.0.97 root/密码找管理员Ubuntu12.04 192.168.0.99 root/密码找管理员2.安装的必备条件JDK 1.6.24 orlater / 1.7.*已经证明了1.8不支持。内存最好2G以上，硬盘1G以上。3.安装步骤下载文... 阅读全文
posted @ 2014-07-10 23:01 JamesFan 阅读(565) 评论(0) 推荐(0) 编辑
wso2as安装
摘要：1.系统环境Ubuntu12.04 192.168.0.97 root/密码找管理员Ubuntu12.04 192.168.0.99 root/密码找管理员2.安装的必备条件JDK 1.6.24 orlater / 1.7.* 已经证明了1.8不支持。内存最好2G以上，硬盘1G以上。3.安装步骤下载... 阅读全文
posted @ 2014-07-10 22:32 JamesFan 阅读(233) 评论(0) 推荐(0) 编辑
如何使用Hadoop的Partitioner
摘要：如何使用Hadoop的Partitioner博客分类：HadoophadooppartitionHadoop里面的MapReduce编程模型，非常灵活，大部分环节我们都可以重写它的API，来灵活定制我们自己的一些特殊需求。今天散仙要说的这个分区函数Partitioner，也是一样如此，下面我们先来看... 阅读全文
posted @ 2014-07-10 00:31 JamesFan 阅读(297) 评论(0) 推荐(0) 编辑
Hadoop中Partition的定制
摘要：1.解析PartitionMap的结果，会通过partition分发到Reducer上，Reducer做完Reduce操作后，通过OutputFormat，进行输出，下面我们就来分析参与这个过程的类。Mapper的结果，可能送到Combiner做合并，Combiner在系统中并没有自己的基类，而是用... 阅读全文
posted @ 2014-07-10 00:10 JamesFan 阅读(376) 评论(0) 推荐(0) 编辑
Hadoop Reducer个数设置
摘要：在默认情况下，一个MapReduceJob如果不设置Reducer的个数，那么Reducer的个数为1。具体，可以通过JobConf.setNumReduceTasks(intnumOfReduceTasks)方法来设置Reducer的个数。那么，如何确定Reducer的个数呢，Hadoopdocu... 阅读全文
posted @ 2014-07-10 00:09 JamesFan 阅读(708) 评论(0) 推荐(0) 编辑
Hadoop的namenode和secondnamenode分开部署在不同服务器
摘要：一、系统环境：Hadoop 0.20.2、JDK 1.6、Linux操作系统二、使用背景网上关于Hadoop的集群配置，很多情况下，都是把namenode和secondnamenode部署在同一服务器上。为了降低风险，一个大的集群环境，最好是把这两个配置到不同的服务器上。三、操作要达到这要求，需要对... 阅读全文
posted @ 2014-07-09 16:20 JamesFan 阅读(1045) 评论(0) 推荐(0) 编辑
hadoop主节点（NameNode）备份策略以、恢复方法、操作步骤
摘要：一、dits和fsimage首先要提到两个文件edits和fsimage，下面来说说他们是做什么的。集群中的名称节点（NameNode）会把文件系统的变化以追加保存到日志文件edits中。当名称节点（NameNode）启动时，会从镜像文件 fsimage 中读取HDFS的状态，并且把edits文件中... 阅读全文
posted @ 2014-07-09 16:15 JamesFan 阅读(848) 评论(0) 推荐(0) 编辑
pig入门教程(2)
摘要：本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文的大量实例都是作者Darran Zhang（website: codelast.com）在工作、学习中总结的经验或解决的问题，并且添加了较为详尽的说明及注解，此外，作者还在不断地添加本文的内容，希望能帮助一部分人。要查看Pig系列教程，请点... 阅读全文
posted @ 2014-07-04 15:27 JamesFan 阅读(750) 评论(0) 推荐(0) 编辑
pig 入门教程（1）
摘要：出处：http://www.codelast.com/本文可以让刚接触pig的人对一些基础概念有个初步的了解。本文大概是互联网上第一篇公开发表的且涵盖大量实际例子的Apache Pig中文教程（由Google搜索可知），文中的大量实例都是作者Darran Zhang（website: codelas... 阅读全文
posted @ 2014-07-04 15:25 JamesFan 阅读(1210) 评论(0) 推荐(0) 编辑
crontab简易入门
摘要：前言crontab是Unix和Linux用于设置周期性被执行的指令，是互联网很常用的技术，很多任务都会设置在crontab循环执行，如果不使用crontab，那么任务就是常驻程序，这对你的程序要求比较高，一个要求你的程序是24X7小时不宕机，一个是要求你的调度程序比较可靠，实际工作中，90%的程序都... 阅读全文
posted @ 2014-07-04 15:23 JamesFan 阅读(285) 评论(0) 推荐(0) 编辑
Ubuntu下crontab命令的用法
摘要：cron是一个Linux下的后台进程，用来定期的执行一些任务。因为我用的是Ubuntu，所以这篇文章中的所有命令也只能保证在Ubuntu下有效，但其他系统应该也差不多。想要让cron执行你指定的任务，首先就要编辑crontab文件。crontab是一个文本文件，用来存放你要运行的命令。你可以以下命令... 阅读全文
posted @ 2014-07-04 15:03 JamesFan 阅读(197) 评论(0) 推荐(0) 编辑
Hadoop Map/Reduce教程
摘要：Hadoop Map/Reduce教程目的先决条件概述输入与输出例子：WordCount v1.0源代码用法解释Map/Reduce - 用户界面核心功能描述MapperReducerPartitionerReporterOutputCollector作业配置任务的执行和环境作业的提交与监控作业的控... 阅读全文
posted @ 2014-07-02 21:32 JamesFan 阅读(379) 评论(0) 推荐(0) 编辑
map-reduce的八个流程
摘要：下面讲解这八个流程Inputformat——》map——》（combine）——》partition——》copy&merge——》sort——》reduce——》outputformatFileSplit:文件的子集--文件分割体0. 简介：这篇文档描述在hadoop中map和reduce操作是怎... 阅读全文
posted @ 2014-07-02 21:29 JamesFan 阅读(2792) 评论(0) 推荐(0) 编辑
并行fp-growth图解(mahout)
摘要：FP-growthApriori算法的一个主要瓶颈在于，为了获得较长的频繁模式，需要生成大量的候选短频繁模式。FP-Growth算法是针对这个瓶颈提出来的全新的一种算法模式。目前，在数据挖掘领域，Apriori和FP-Growth算法的引用次数均位列三甲。参看... 阅读全文
posted @ 2014-07-01 23:27 JamesFan 阅读(831) 评论(0) 推荐(0) 编辑
Sqoop的安装与使用
摘要：Sqoop的安装与使用2013年08月12日⁄hadoop及周边,sqoop⁄ 共 1674字 ⁄ 字号小中大⁄4条评论⁄ 阅读 3,766 views 次Sqoop是一个转换工具，用于在关系型数据库与HDFS之间进行数据转换。强大功能见下图以下操作就是使用sqoop在mysql和hdfs之间转换数... 阅读全文
posted @ 2014-07-01 16:53 JamesFan 阅读(162) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示