摘要: 希望本文能对那些想把php带向更宽的边界的工程师有所帮助.一个php请求的完整流程: 浏览器用户--->web服务器(apache,nginx)--->Zend引擎从文件系统读取php代码文件--->Zend解释器工作 --->执行解释后的代码-->Zend引擎注册的函数接口-->内置模块或者各个需要的外部模块扩展-->数据库memcache等后端资源 其中 Zend引擎注册的函数接口:就是php开发者经常接触的各种php函数. 外部模块扩展:就是php编译的各个so文件(linux)或者dll文件(windwos). 执行解释后的代码:浏览器的内容就 阅读全文
posted @ 2013-07-29 17:45 nosqlcn 阅读(546) 评论(0) 推荐(0) 编辑
摘要: hive学习日志hive处理的输入数据一般是巨量的,编写hive查询语句需要一定的mr知识的及过硬的hql知识,有些失误可能会造成几个小时的运行浪费。不登录hive cli运行hql的方法:bin/hive -e 'select * from t1'非交互模式运行hql脚本bin/hive -f hive.sql交互模式运行hql脚本bin/hive -i hive.sqlHQL数据类型data_type : primitive_type | array_type | map_type | struct_typeprimitive_type : TINYINT | SMALLI 阅读全文
posted @ 2013-10-24 10:52 nosqlcn 阅读(469) 评论(0) 推荐(0) 编辑
摘要: pig中支持的数据类型int 32位整数long 64位整数float 32为浮点double 64位浮点chararray 字符串 UTF-8 格式bytearray blod二进制boolean 布尔datetime 时间tuple 数组,如:(19,2)bag 数组的数组,如:{(19,2), (18,1)} map key,value组合的结构列表,如[open#apache]SchemasSchemas是指pig script的数据结构,按照原数据列的数据类型来定义,你必须定义准确才能开始你后面的处理工作, Schemas在as语句里边定义,其中LOAD, STREAM, and . 阅读全文
posted @ 2013-09-30 11:24 nosqlcn 阅读(471) 评论(0) 推荐(0) 编辑
摘要: hadoop生态系统的组件hdfs,mapreduce,hive,pig,zookeeper,hbase大家应该都比较熟了,这里简单总结一下其他不太常用的组件的作用。OozieOozie是可扩展可伸缩的工作流协调管理器。Oozie协调的作业属于一次性的非循环作业,例如MapReduce, Streaming, Pipes, Pig, Hive, Sqoop等等都是。Oozie将要调度的作业作为一个单一的作业来管理。Oozie的调度基于时间跟数据可用性。具有数据感知功能,可以协调作业之间的依赖关系.FlumeFlume是一个类似facebook的scribe的分布式,高可靠,高可用,高效的数据收 阅读全文
posted @ 2013-09-29 15:44 nosqlcn 阅读(5256) 评论(0) 推荐(0) 编辑
摘要: 高可用hdfs部署当你使用hadop进入一段时间后,你可能会碰到更高的要求。系统稳定吗?uptime时间能达到100%?为了能够安抚这类担忧情绪你需要做更多的工作.在集群里hadoop的NameNode是SPOF模式,加上backup namenode保证namenode数据在硬盘正确完整的存储,但一旦进程或者服务器挂掉,以及不得不进行的硬件更换升级导致停机,集群一样会处于不可用状态,这也是运行中的hadoop生态系统最麻烦的事情。这时候你就只能重启,或者在另外一个服务器上启动一个namenode.为保证高可用性,我们必须有1台StandbyNamenode角色的服务器,它能够随时保持与nam 阅读全文
posted @ 2013-09-29 15:38 nosqlcn 阅读(897) 评论(0) 推荐(0) 编辑
摘要: 部署zookeeperzookeeper可以存储类似于文件系统的目录节点树方式的数据,主要通过维护和监控你存储的数据的状态变化,触发事件,从而进行基于数据的集群管理,zookeeper的用法,就类似如目录节点树的操作,首先创建一个目录节点,给某个目录节点设置数据,获取某个目录节点的所有子目录节点,给某个目录节点设置权限和监控这个目录节点的状态变化,通知目录节点的拥有者。zookeeper作为一个集群系统以外的管理系统,它对所管理的集群是无耦和的,它提供一个存储和管理数据场所,集群系统将它的管理模块入驻其中,一旦数据的状态发生变化,Zookeeper就将负责通知相应的住户作出反应,从而实现管理M 阅读全文
posted @ 2013-09-29 15:29 nosqlcn 阅读(435) 评论(0) 推荐(0) 编辑
摘要: 我们会添加export HADOOP_HOME=hadoop的目录需要运行yarn的程序,如 Pig, Hive, Sqoop都必须添加环境变量export HADOOP_MAPRED_HOME=yarn的目录 阅读全文
posted @ 2013-09-29 15:25 nosqlcn 阅读(559) 评论(0) 推荐(0) 编辑
摘要: service启动与/etc/init.d启动的细小区别service启动pwd为/,只传递 LANG和TERM 2个环境变量./etc/init.d 传递全部 阅读全文
posted @ 2013-09-29 15:24 nosqlcn 阅读(566) 评论(0) 推荐(0) 编辑
摘要: hive的一些设计机制hive的管理接口hive的管理接口有三个:CLI,Client和 WUI。其中最常用的是 CLI,Cli是本地的命令行接口。Client是Hive的客户端,连接Hive Server。WUI是通过web方式访问 Hive。hive元数据存储Hive的元数据可以存储在多种数据库里如mysql、derby、oracle、pgsql。一般选择是免费开源历史长的mysql。当然现在有通过hdfs本身来存储这些元数据的方案。有机会可以去试试,也希望有人能提供经验。HiveServer2与 HiveServer简单说, HiveServer2是 HiveServer的升级版本,主要 阅读全文
posted @ 2013-09-29 15:22 nosqlcn 阅读(828) 评论(0) 推荐(0) 编辑
摘要: pig的一些设计机制Pig LatinPig Latin是pig的脚本语言,由operation 和 transformation 组成。每个操作或变换都是对输入进行数据处理,然后产生输出结果。这些操作整体上描述了一个数据流的输入输出。Pig内部,这些变换操作被转换成一系列的MapReduce 作业。与MapReduce一样,Pig是为数据批处理而设计的,操作对象至少是一个整个的文件。同时pig的每次输出位置必须是一个全新的文件夹Pig scripts类似sql的存储过程,pig支持把一系列命令放到一个文件中,使用命令 “pig ”运行。Pig scripts可以指定local或者mapred 阅读全文
posted @ 2013-09-29 15:16 nosqlcn 阅读(461) 评论(0) 推荐(0) 编辑
摘要: hbase的一些设计机制zookeeper与hbasehbase依赖zookeeper来管理它的HRegionServers,zookeeper存储的数据结构类似于文件系统的目录节点树模型,主要通过维护和监控你存储的数据的状态变化,触发事件,从而进行基于数据的集群管理,zookeeper的用法,就类似如目录节点树的操作,首先创建一个目录节点,给某个目录节点设置数据,获取某个目录节点的所有子目录节点,给某个目录节点设置权限和监控这个目录节点的状态变化,通知目录节点的拥有者。zookeeper作为一个集群系统的管理系统,它对所管理的集群是无耦和的,它提供一个存储和管理数据场所,集群系统将它的管理模 阅读全文
posted @ 2013-09-29 15:12 nosqlcn 阅读(436) 评论(0) 推荐(0) 编辑