摘要：
希望本文能对那些想把php带向更宽的边界的工程师有所帮助.一个php请求的完整流程: 浏览器用户--->web服务器(apache,nginx)--->Zend引擎从文件系统读取php代码文件--->Zend解释器工作 --->执行解释后的代码-->Zend引擎注册的函数接口-->内置模块或者各个需要的外部模块扩展-->数据库memcache等后端资源 其中 Zend引擎注册的函数接口：就是php开发者经常接触的各种php函数. 外部模块扩展：就是php编译的各个so文件(linux)或者dll文件(windwos). 执行解释后的代码：浏览器的内容就 阅读全文
摘要：
hive学习日志hive处理的输入数据一般是巨量的，编写hive查询语句需要一定的mr知识的及过硬的hql知识，有些失误可能会造成几个小时的运行浪费。不登录hive cli运行hql的方法:bin/hive -e 'select * from t1'非交互模式运行hql脚本bin/hive -f hive.sql交互模式运行hql脚本bin/hive -i hive.sqlHQL数据类型data_type : primitive_type | array_type | map_type | struct_typeprimitive_type : TINYINT | SMALLI 阅读全文
摘要：
pig中支持的数据类型int 32位整数long 64位整数float 32为浮点double 64位浮点chararray 字符串 UTF-8 格式bytearray blod二进制boolean 布尔datetime 时间tuple 数组，如：(19,2)bag 数组的数组，如：{(19,2), (18,1)} map key,value组合的结构列表，如[open#apache]SchemasSchemas是指pig script的数据结构，按照原数据列的数据类型来定义，你必须定义准确才能开始你后面的处理工作， Schemas在as语句里边定义，其中LOAD, STREAM, and . 阅读全文
摘要：
hadoop生态系统的组件hdfs,mapreduce,hive,pig,zookeeper,hbase大家应该都比较熟了，这里简单总结一下其他不太常用的组件的作用。OozieOozie是可扩展可伸缩的工作流协调管理器。Oozie协调的作业属于一次性的非循环作业，例如MapReduce, Streaming, Pipes, Pig, Hive, Sqoop等等都是。Oozie将要调度的作业作为一个单一的作业来管理。Oozie的调度基于时间跟数据可用性。具有数据感知功能，可以协调作业之间的依赖关系.FlumeFlume是一个类似facebook的scribe的分布式，高可靠，高可用，高效的数据收 阅读全文
摘要：
高可用hdfs部署当你使用hadop进入一段时间后，你可能会碰到更高的要求。系统稳定吗?uptime时间能达到100%?为了能够安抚这类担忧情绪你需要做更多的工作.在集群里hadoop的NameNode是SPOF模式，加上backup namenode保证namenode数据在硬盘正确完整的存储，但一旦进程或者服务器挂掉，以及不得不进行的硬件更换升级导致停机，集群一样会处于不可用状态，这也是运行中的hadoop生态系统最麻烦的事情。这时候你就只能重启，或者在另外一个服务器上启动一个namenode.为保证高可用性，我们必须有1台StandbyNamenode角色的服务器，它能够随时保持与nam 阅读全文
摘要：
部署zookeeperzookeeper可以存储类似于文件系统的目录节点树方式的数据，主要通过维护和监控你存储的数据的状态变化，触发事件，从而进行基于数据的集群管理，zookeeper的用法，就类似如目录节点树的操作，首先创建一个目录节点，给某个目录节点设置数据，获取某个目录节点的所有子目录节点，给某个目录节点设置权限和监控这个目录节点的状态变化，通知目录节点的拥有者。zookeeper作为一个集群系统以外的管理系统，它对所管理的集群是无耦和的，它提供一个存储和管理数据场所，集群系统将它的管理模块入驻其中，一旦数据的状态发生变化，Zookeeper就将负责通知相应的住户作出反应，从而实现管理M 阅读全文
摘要：
我们会添加export HADOOP_HOME=hadoop的目录需要运行yarn的程序，如 Pig, Hive, Sqoop都必须添加环境变量export HADOOP_MAPRED_HOME=yarn的目录 阅读全文
摘要：
service启动与/etc/init.d启动的细小区别service启动pwd为/，只传递 LANG和TERM 2个环境变量./etc/init.d 传递全部 阅读全文
摘要：
hive的一些设计机制hive的管理接口hive的管理接口有三个：CLI，Client和 WUI。其中最常用的是 CLI，Cli是本地的命令行接口。Client是Hive的客户端，连接Hive Server。WUI是通过web方式访问 Hive。hive元数据存储Hive的元数据可以存储在多种数据库里如mysql、derby、oracle、pgsql。一般选择是免费开源历史长的mysql。当然现在有通过hdfs本身来存储这些元数据的方案。有机会可以去试试，也希望有人能提供经验。HiveServer2与 HiveServer简单说， HiveServer2是 HiveServer的升级版本，主要 阅读全文
摘要：
pig的一些设计机制Pig LatinPig Latin是pig的脚本语言，由operation 和 transformation 组成。每个操作或变换都是对输入进行数据处理，然后产生输出结果。这些操作整体上描述了一个数据流的输入输出。Pig内部，这些变换操作被转换成一系列的MapReduce 作业。与MapReduce一样，Pig是为数据批处理而设计的,操作对象至少是一个整个的文件。同时pig的每次输出位置必须是一个全新的文件夹Pig scripts类似sql的存储过程，pig支持把一系列命令放到一个文件中，使用命令 “pig ”运行。Pig scripts可以指定local或者mapred 阅读全文
摘要：
hbase的一些设计机制zookeeper与hbasehbase依赖zookeeper来管理它的HRegionServers，zookeeper存储的数据结构类似于文件系统的目录节点树模型，主要通过维护和监控你存储的数据的状态变化，触发事件，从而进行基于数据的集群管理，zookeeper的用法，就类似如目录节点树的操作，首先创建一个目录节点，给某个目录节点设置数据，获取某个目录节点的所有子目录节点，给某个目录节点设置权限和监控这个目录节点的状态变化，通知目录节点的拥有者。zookeeper作为一个集群系统的管理系统，它对所管理的集群是无耦和的，它提供一个存储和管理数据场所，集群系统将它的管理模 阅读全文