上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 26 下一页
摘要: 解释器、编译器、优化器完成HQL查询语句从词法分析、语法分析、编译、优化以及查询计划(Plan)的生成。生成的查询计划存储在HDFS中,并在随后有mapreduce调用执行。 举个例子: 第一步:输入一条HQL查询语句(select * from tab) 第二步:解析器对这条Hql语句进行语法分析 阅读全文
posted @ 2016-06-19 13:02 麻雀虽小五脏俱全 阅读(1499) 评论(0) 推荐(0) 编辑
摘要: 什么是数据仓库?带着这个问题进入今天的博客。 数据仓库就是一个数据库,但是有别于我们通常所说的数据库。 数据仓库是一个面向主题的、集成的、不可更新的、随时间变化的数据集合,它用于支持企业或租住的决策分析处理。 数据仓库的结构和创建过程。 数据源:业务数据系统(mysql或Oracle等),文档资料, 阅读全文
posted @ 2016-06-19 10:46 麻雀虽小五脏俱全 阅读(455) 评论(0) 推荐(0) 编辑
摘要: 第一部分:什么是RPC RPC (Remote Procedure Call Protocol) – 远程过程协议调用 。通过 RPC 我们可以从网络上的计算机请求服务,而不需要了 解底层网络协议。 Hadoop 底层的交互都是通过 rpc 进行的。例 如: datanode 和 namenode 阅读全文
posted @ 2016-06-12 23:08 麻雀虽小五脏俱全 阅读(236) 评论(0) 推荐(0) 编辑
摘要: 前言 前言 HDFS 是一个能够面向大规模数据使用的,可进行扩展的文件存储与传递系统。是一种允许文件通过网络在多台主机上分享的文件系统,可让多机器上的多用户分享文件和 存储空间。让实际上是通过网络来访问文件的动作,由程序与用户看来,就像是访问本地的磁盘一般。即使系统中有某些节点脱机,整体来说系统仍然 阅读全文
posted @ 2016-06-12 22:53 麻雀虽小五脏俱全 阅读(5147) 评论(0) 推荐(0) 编辑
摘要: 使用Cloudera Manager部署安装的CDH和Impala,Hive中新增加的表,impala中查询不到,其原因是/etc/impala/conf下面没有hadoop和hive相关的配置文件: 将hadooop-core.xml,hdfs-site.xml,hive-site.xml拷贝到c 阅读全文
posted @ 2016-06-12 14:01 麻雀虽小五脏俱全 阅读(1485) 评论(0) 推荐(0) 编辑
摘要: 经常使用df和du命令相结合使用。 du 统计文件大小相加 df 统计数据块使用情况 df命令可以显示目前所有文件系统的可用空间及使用情形 df -hdu:查询文件或文件夹的磁盘使用空间 du -h --max-depth=1 work/testing 查看linux文件目录的大小和文件夹包含的文件 阅读全文
posted @ 2016-06-12 11:47 麻雀虽小五脏俱全 阅读(881) 评论(0) 推荐(0) 编辑
摘要: hive与hbase的联系与区别: 共同点: 1.hbase与hive都是架构在hadoop之上的。都是用hadoop作为底层存储。 他们的底层是要通过mapreduce分布式计算的,hbase、hive、pig底层都是这样的。但整体来说hadoop还是比较快的,因为它是进行海量数据存储和分布式计算 阅读全文
posted @ 2016-06-08 18:51 麻雀虽小五脏俱全 阅读(12084) 评论(2) 推荐(3) 编辑
摘要: 1.创建内部表与外部表的区别是什么? 2.external关键字的作用是什么? 3.外部表与内部表的区别是什么? 4.删除表的时候,内部表与外部表有什么区别? 5.load data local inpath '/home/wyp/data/wyp.txt' into table wyp;的过程是什 阅读全文
posted @ 2016-06-08 18:28 麻雀虽小五脏俱全 阅读(641) 评论(0) 推荐(0) 编辑
摘要: 在zookeeper应用场景有关于分布式集群配置文件同步问题的描述,设想一下如果有100台机器同时对同一台机器上某个文件进行修改,如何才能保证文本不会被写乱,这就是最简单的分布式锁,本文介绍利用zk实现分布式锁。下面是写锁的实现步骤 分布式写锁 create一个PERSISTENT类型的znode, 阅读全文
posted @ 2016-06-08 14:11 麻雀虽小五脏俱全 阅读(288) 评论(0) 推荐(0) 编辑
摘要: 羊群效应是指管理学上一些企业的市场行为的一种常见现象。例如一个羊群(集体)是一个很散乱的组织,平时大家在一起盲目地左冲右撞。如果一头羊发现了一片肥沃的绿草地,并在那里吃到了新鲜的青草,后来的羊群就会一哄而上,争抢那里的青草,全然不顾旁边虎视眈眈的狼,或者看不到其它还有更好的青草。 羊群效应的出现一般 阅读全文
posted @ 2016-06-08 11:53 麻雀虽小五脏俱全 阅读(374) 评论(0) 推荐(0) 编辑
上一页 1 ··· 9 10 11 12 13 14 15 16 17 ··· 26 下一页