随笔分类 -  Hadoop

zato server启动后自动关闭问题解决
摘要：症状zato start server 启动server后，过一会server自动关闭了解决查看日志UnicodeDecodeError: 'ascii' codec can't decode byte 0xc2 in position 269: ordinal not in range(128)T... 阅读全文
posted @ 2015-09-19 12:55 jihite 阅读(621) 评论(0) 推荐(0) 编辑
zato集群部署
摘要：注：SQL ODB和Cluster’s config需要首先依次创建，其他三个次序随意对不熟悉的命令，使用server create *** -h 查看帮助文档修改完后配置文件，要重启（zato stop ***, zato start ***）1. SQL ODBCreate a user for... 阅读全文
posted @ 2015-08-26 10:32 jihite 阅读(1916) 评论(2) 推荐(0) 编辑
zato——Channels Outgoing connections
摘要：Channels，服务获得请求。方式AMQPJMS WebSphere MQplain HTTPSOAPZeroMQ其中，只有HTTP是同步的Plain HTTP和SOAP暴漏服务直接通过Zato的serversOutgong，服务自动获得外部资源。Channels每个服务可以使用一系列协议自动访问... 阅读全文
posted @ 2015-08-19 09:39 jihite 阅读(630) 评论(0) 推荐(0) 编辑
MapReduce工作原理
摘要：一切都是从最上方的user program开始的，user program链接了MapReduce库，实现了最基本的Map函数和Reduce函数。MapReduce库先把user program的输入文件划分为M份（M为用户定义），每一份通常有16MB到64MB，如图左方所示分成了split0~4(... 阅读全文
posted @ 2014-09-05 23:03 jihite 阅读(7788) 评论(0) 推荐(0) 编辑
用python写MapReduce函数——以WordCount为例
摘要：尽管Hadoop框架是用java写的，但是Hadoop程序不限于java，可以用python、C++、ruby等。本例子中直接用python写一个MapReduce实例，而不是用Jython把python代码转化成jar文件。 例子的目的是统计输入文件的单词的词频。 输入：文本文件 输出：文本（每行 阅读全文
posted @ 2014-07-05 22:47 jihite 阅读(78159) 评论(5) 推荐(3) 编辑
hadoop安装配置——伪分布模式
摘要：1. 安装这里以安装hadoop-0.20.2为例先安装java,参考这个去着下载hadoop解压tar -xzf hadoop-0.20.22. 配置修改环境变量vim ~/.bashrcexport HADOOP_HOME=/home/rte/hadoop-0.20.2 #这里为实际hado... 阅读全文
posted @ 2014-07-05 11:14 jihite 阅读(1928) 评论(0) 推荐(1) 编辑
Hbase快速开始——shell操作
摘要：一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable：一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现，它利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的... 阅读全文
posted @ 2014-06-29 11:46 jihite 阅读(57499) 评论(0) 推荐(3) 编辑
Hadoop系列
摘要：http://www.cnblogs.com/xia520pi/archive/2012/04/08/2437875.html#2925129hadoop提供了一个可靠的共享存储和分析系统。HDFS实现存储，而MapReduce实现分析处理。这两部分是Hadoop的核心。 阅读全文
posted @ 2014-05-22 08:11 jihite 阅读(429) 评论(0) 推荐(0) 编辑
Hadoop科普文—常见的45个问题解答
摘要：1.Hadoop集群可以运行的3个模式？单机（本地）模式伪分布式模式全分布式模式 2. 单机（本地）模式中的注意点？在单机模式（standalone）中不会存在守护进程，所有东西都运行在一个JVM上。这里同样没有DFS，使用的是本地文件系统。单机模式适用于开发过程中运行MapReduce程序，这也是最少使用的一个模式。3. 伪分布模式中的注意点？伪分布式（Pseudo）适用于开发和测试环境，在这个模式中，所有守护进程都在同一台机器上运行。4. VM是否可以称为Pseudo？不是，两个事物，同时Pseudo只针对Hadoop。5. 全分布模式又有什么注意点？全分布模式通常被用于生产环境，这里我们 阅读全文
posted @ 2014-01-14 21:39 jihite 阅读(2651) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示