04 2017 档案
摘要：需求： 有如下访客访问次数统计表 t_access_times 访客 月份 访问次数 A 2015-01 5 A 2015-01 15 B 2015-01 5 A 2015-01 8 B 2015-01 25 A 2015-01 5 A 2015-02 4 A 2015-02 6 B 2015-02
阅读全文
摘要：1. 保存select查询结果的几种方式： 1、将查询结果保存到一张新的hive表中 2、将查询结果保存到一张已经存在的hive表中(用load的时候，可以是into或者overwrite into，这里是into或者overwrite) 3、将查询结果保存到指定的文件目录（可以是本地，也可以是hd
阅读全文
摘要：1. 文件的打开与关闭 <1>打开文件 在python，使用open函数，可以打开一个已经存在的文件，或者创建一个新文件 open(文件名，访问模式) 示例如下： 说明: <2>关闭文件 close( ) 示例如下： 2. 文件的读写 <1>写数据(write) 使用write()可以完成向文件写入
阅读全文
摘要：对于每一个表（table）或者分区， Hive可以进一步组织成桶，也就是说桶是更为细粒度的数据范围划分。Hive也是针对某一列进行桶的组织。Hive采用对列值哈希，然后除以桶的个数求余的方式决定该条记录存放在哪个桶当中。 把表（或者分区）组织成桶（Bucket）有两个理由： （1）获得更高的查询处理
阅读全文
摘要：需求： Order_0000001,Pdt_01,222.8Order_0000001,Pdt_05,25.8Order_0000002,Pdt_05,325.8Order_0000002,Pdt_03,522.8Order_0000002,Pdt_04,122.4Order_0000003,Pdt
阅读全文
摘要：需求： 利用mapReduce实现类似微博中查找共同粉丝的功能。如下： A:B,C,D,F,E,OB:A,C,E,KC:F,A,D,ID:A,E,F,LE:B,C,D,M,LF:A,B,C,D,E,O,MG:A,C,D,E,FH:A,C,D,E,OI:A,OJ:B,OK:A,C,DL:D,E,FM:
阅读全文
摘要：需求： 利用MapReduce程序，实现SQL语句中的join关联查询。 订单数据表order： 商品信息表product： 假如数据量巨大，两表的数据是以文件的形式存储在HDFS中，需要用mapreduce程序来实现一下SQL查询运算： 分析： 通过将关联的条件作为map输出的key，将两表满足j
阅读全文
摘要：1. 基于虚拟机的虚拟化和基于容器的虚拟化 非正式的说，虚拟化是通过软件手段对计算机硬件资源镜像整合管理和再分配的一种技术。最常用的就是基于虚拟机（Hypervisor-based）的虚拟化，经过40年的发展，基于虚拟机的虚拟化技术已经比较成熟，它通过一个软件层的封装，提供和物理硬件相同的输入输出表
阅读全文
摘要：在做Hadoop数据挖掘项目的时候，我们第一步是源数据的获取，即把相应的数据放置到HDFS中，以便Hadoop进行计算，手动将文件上传到HDFS中，未免太费时费力，所以我们可以采取像Flume一样的框架，或者采用Shell脚本进行文件的上传。下面主要提供Shell脚本的大致写法，仅供参考，可以根据不
阅读全文
摘要：大数据的浪潮风靡全球的时候，Spark火了。在国外 Yahoo!、Twitter、Intel、Amazon、Cloudera 等公司率先应用并推广 Spark 技术，在国内阿里巴巴、百度、淘宝、腾讯、网易、星环等公司敢为人先，并乐于分享。在随后的发展中，IBM、Hortonworks、微策略等公司纷
阅读全文
摘要：以下内容转自：http://blog.csdn.net/allen_zhao_2012/article/details/8056665 回调函数，第一次见是在Java编程思想中，以及后来的观察者模式也应用了回调函数的思想。但是一直都没有重视，终于在一次面试的时候吃亏了，越来越理解为什么很多人说Jav
阅读全文
摘要：CountDownLatch的一个非常典型的应用场景是：有一个任务想要往下执行，但必须要等到其他的任务执行完毕后才可以继续往下执行。假如我们这个想要继续往下执行的任务调用一个CountDownLatch对象的await()方法，其他的任务执行完自己的任务后调用同一个CountDownLatch对象上
阅读全文
摘要：这里的实战主要是用Java API对Zookeeper进行相应的操作，来实现我们的业务需求。首先简单地测试一下Zookeeper节点的增删改查操作，然后测试两个例子，分别是分布式应用HA以及分布式锁。 1. 增删改查的测试demo 首先，我们建立一个工程，导入相应的jar包依赖，如下： 然后，我们开
阅读全文
摘要：1. Zookeeper的特性 1.Zookeeper：一个leader，多个follower组成的集群。 2.全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的。 3.分布式读写，更新请求转发，由leader实施。 4.更新请求顺序进行，来
阅读全文
摘要：Zookeeper虽然在配置文件中并没有指定master和slave，但是，zookeeper工作时，是有一个节点为leader，其他则为follower。leader是通过内部的选举机制临时产生的。 选举机制大致可以分为以下两种： 1. 全新集群的选举机制 以一个简单的例子来说明整个选举的过程。
阅读全文
摘要：Linux 中经常使用到一个命令，如 make && make install，这里也可以使用 make ; make install，那么在 Linux 中执行命令 ; 和 && 有何区别？ 同时执行多条命令，我们通过多重命令方式进行处理。多命令执行包括';'和'&&'命令，这样shell就可以一
阅读全文
摘要：从一项颠覆性的技术成果转化并衍生出一整套社区体系，Docker在发展速度上打破了一个又一个历史纪录。然而，Docker项目在采纳与普及方面表现出惊人态势的同时，也给我们带来了一系列疑问与困惑。 在今天的文章中，我希望将注意力集中在朋友们最为关注的评论议题身上。随着Docker项目在人气方面的持续飙升
阅读全文
摘要：在实际项目中，我们经常用到需要自动化部署软件的情况，这种情况下，我们就不能人为地在命令行下敲击命令了，一切都需要通过shell脚本自动化完成。所谓自动化完成，其实也就是通过写shell程序，模拟人为敲击linux指令，这样一来，所有的指令一气呵成，方便自动化部署。 我们以一个简单的例子进行说明： 需
阅读全文
摘要：1. Nginx相关概念 1.1 反向代理 反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个服务器。 1.2 负载均衡 负
阅读全文
摘要：1. 修改静态地址后发现无法ping外网 要先把/etc/sysconfig/network-scripts/ifcfg-eth0中的网关设置成192.168.230.2。 需要设置网关 添加nameserver 2. 解决克隆后eth0不见的问题 直接修改 /etc/sysconfig/netwo
阅读全文