2017年2月9日
zookeeper详解
摘要： ZooKeeper1.Zookeeper（***必须掌握***）官方网址：http://zookeeper.apache.org/Ø 什么是Zookeeper？l Zookeeper 是 Google 的 Chubby一个开源的实现，是 Hadoop 的分... 阅读全文
posted @ 2017-02-09 19:47 Beeman_xia 阅读(1166) 评论(0) 推荐(0) 编辑
zookeeper原理
摘要： ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，它包含一个简单的原语集，分布式应用程序可以基于它实现同步服务，配置维护和命名服务等。Zookeeper是hadoop的一个子项目，其发展历程无需赘述。在分布式应用中，由于工程师不能很好地使用锁机制，以... 阅读全文
posted @ 2017-02-09 15:51 Beeman_xia 阅读(181) 评论(0) 推荐(0) 编辑
2017年2月8日
VMware三种网络模式
摘要： VMware网络配置详解一：三种网络模式简介安装好虚拟机以后，在网络连接里面可以看到多了两块网卡：其中VMnet1是虚拟机Host-only模式的网络接口，VMnet8是NAT模式的网络接口，这些后面会详细介绍。 选择虚拟机网络模式方法如下，单击“Edit virtu... 阅读全文
posted @ 2017-02-08 12:01 Beeman_xia 阅读(220) 评论(0) 推荐(0) 编辑
2017年1月5日
awk命令练习
摘要： 文件 file.txt的内容格式：文件中包含名字，电话号码和过去三个月里的捐款具体内容如下：Mike Harrington:[510] 548-1278:250:100:175Christian Dobbins:[408] 538-2358:155:90:201Sus... 阅读全文
posted @ 2017-01-05 10:17 Beeman_xia 阅读(306) 评论(0) 推荐(0) 编辑
awk内置函数
摘要： gsub(r,s,t)在字符串t中，用字符串s替换和正则表达式r匹配的所有字符串。返回替换的个数。如果没有给出t，缺省为$0index(s,t)返回s 中字符串t 的位置，不出现时为0length(s)返回字符串s 的长度，当没有给出s时，返回$0的长度match(s... 阅读全文
posted @ 2017-01-05 10:05 Beeman_xia 阅读(273) 评论(0) 推荐(0) 编辑
python抓去网页一部分
摘要： import sys, urllib2 headers = {'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3... 阅读全文
posted @ 2017-01-05 10:05 Beeman_xia 阅读(132) 评论(0) 推荐(0) 编辑
2017年1月4日
列式存储
摘要： 最近看到一篇很好资料，里面三言两语配上几个图就把列式存储(Column-based Storage)讲明白了，牛啊！最喜欢的就是这种浅显易懂就把背景知识讲得明明白白，而不是长篇大论的讲概念。1 为什么要按列存储列式存储(Columnar or column-based... 阅读全文
posted @ 2017-01-04 15:42 Beeman_xia 阅读(310) 评论(0) 推荐(0) 编辑
awk练习题
摘要： 1. sed和awk有什么区别？(1)awk：按列(域)操作；sed：按行操作(2)awk：文本处理语言，适合对文本进行抽取处理；sed：非交互式的编辑器，适合对文本进行编辑2. awk要处理域的时候，以哪个参数作为分割参数？-F 3. 请打印出/etc/passwd... 阅读全文
posted @ 2017-01-04 11:12 Beeman_xia 阅读(278) 评论(0) 推荐(0) 编辑
2017年1月3日
Linux替换命令
摘要： :s/^.*$/\L&/100＃＃将100行内的小写转换成大写vi/vim 中可以使用 :s 命令来替换字符串。:s/vivian/sky/ 替换当前行第一个 vivian 为 sky:s/vivian/sky/g 替换当前行所有 vivian 为 sky:n,$s/... 阅读全文
posted @ 2017-01-03 20:59 Beeman_xia 阅读(1023) 评论(0) 推荐(0) 编辑
sed基本常用命令
摘要： sed的基本操作sed 's/a/b/g' 文件a 把文件a中的a修改成b 注意这只是临时的 注：s就是所有的意思，g是缓存区的意思sed -i 's/a/b/g' 文件a 把文件a中的a修改成b 这是修改了文件中的 sed -i's/^/&a/g' 文件b 在... 阅读全文
posted @ 2017-01-03 20:57 Beeman_xia 阅读(242) 评论(0) 推荐(0) 编辑
HQL语法
摘要： HQL:Hibernate Query LanguageHQL是完全面向对象的查询语言，因此可以支持继承和多态等特征。$下面介绍HQL语句的语法1.from子句from Person表明从Person持久化类中选出全部的实例。推荐：from Person as p2.... 阅读全文
posted @ 2017-01-03 08:10 Beeman_xia 阅读(141) 评论(0) 推荐(0) 编辑
2016年12月26日
常用表单的正则表达式
摘要： 表单验证常用正则，非常不错，收集的相对比较完整，大家可以看看。1。^\d+$ //匹配非负整数（正整数 + 0） 2。^[0-9]*[1-9][0-9]*$ //匹配正整数 3。^((-\d+)|(0+))$ //匹配非正整数（负整数 + 0） 4。^-[0-9... 阅读全文
posted @ 2016-12-26 16:22 Beeman_xia 阅读(180) 评论(0) 推荐(0) 编辑
Azkaban 2.5.0 搭建和一些小问题
摘要： 安装环境：系统环境： ubuntu-12.04.2-server-amd64安装目录： /usr/local/ae/ankabanJDK 安装目录： export JAVA_HOME=/usr/local/ae/jdk1.7.0_51Hadoop 安装目录 expor... 阅读全文
posted @ 2016-12-26 10:34 Beeman_xia 阅读(421) 评论(0) 推荐(0) 编辑
2016年12月25日
Python_Python遍历列表的四种方法
摘要： 方式一：app_list = [1234, 5677, 8899]for app_id in app_list: print app_id输出： 1234 5677 8899方式二：app_list = [1234, 5677, 8899]for index,a... 阅读全文
posted @ 2016-12-25 21:32 Beeman_xia 阅读(1439) 评论(0) 推荐(0) 编辑
2016年12月24日
Hive中常用的查询命令
摘要： 日志数据的统计处理在这里反倒没有什么特别之处，就是一些 SQL 语句而已，也没有什么高深的技巧，不过还是列举一些语句示例，以示 hive 处理数据的方便之处，并展示 hive 的一些用法。a) 为 hive 添加用户定制功能，自定义功能都位于 hiv... 阅读全文
posted @ 2016-12-24 22:45 Beeman_xia 阅读(1251) 评论(0) 推荐(0) 编辑
2016年12月21日
hive中UDF、UDAF和UDTF使用
摘要： Hive进行UDF开发十分简单，此处所说UDF为Temporary的function，所以需要hive版本在0.4.0以上才可以。一、背景：Hive是基于Hadoop中的MapReduce，提供HQL查询的数据仓库。Hive是一个很开放的系统，很多内容都支持用户定制，... 阅读全文
posted @ 2016-12-21 11:34 Beeman_xia 阅读(778) 评论(0) 推荐(0) 编辑
HIVE json格式数据的处理
摘要： 转载：http://www.cnblogs.com/casicyuan/p/4375080.html今天要处理一个以json格式存储的数据，想要直接把json的各个项的数据存入HIVE表中。HIVE直接读入json的函数有两个：（1）get_json_object(s... 阅读全文
posted @ 2016-12-21 03:43 Beeman_xia 阅读(278) 评论(0) 推荐(0) 编辑
2016年12月20日
hive中order by,sort by, distribute by, cluster by作用以及用法
摘要： 转载：http://www.360doc.com/content/15/0624/11/7673502_480315377.shtml1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局... 阅读全文
posted @ 2016-12-20 15:06 Beeman_xia 阅读(204) 评论(0) 推荐(0) 编辑
2016年12月16日
Hive简单安装
摘要： 数据库的创建Hive1版本在此之前要安装好JDK,HADOOP，下载解压Hive在root下安装mysql:yum install mysql-server mysql-client //一般Mysql都是自带的在root下创建hadoop用户：1su到root下2启... 阅读全文
posted @ 2016-12-16 23:03 Beeman_xia 阅读(113) 评论(0) 推荐(0) 编辑
shuffle过程简介--笔记
摘要： 数据保存在hdfs上拿到数据后分片处理输入到Map输出键值对写到缓存，满的时候溢写到磁盘缓存的数据写入磁盘的过程中，分区排序，合并多个磁盘文件归并通知Reduce任务拉取Map端的shuffle1输入数据和执行任务：分片后分配Map任务，每个任务分配100M缓存2写入... 阅读全文
posted @ 2016-12-16 22:35 Beeman_xia 阅读(232) 评论(0) 推荐(0) 编辑