hive编程指南——读书笔记（无知拾遗）
摘要：set hive.metastore.warehouse.dir=/user/myname/hive/warehouse; 用户设定自己的数据仓库目录。不影响其他用户。也在$HOME/.hiverc中设置，则每次启动hive自动加载 hive -(d,ef,H,h,i,p,S,v)...
阅读全文
posted @ 2015-04-30 10:17
04 2015 档案
hive中使用case、if：一个region统计业务（hive条件函数case、if、COALESCE语法介绍:CONDITIONAL FUNCTIONS IN HIVE）
摘要：前言：Hive ql自己设计总结1，遇到复杂的查询情况，就分步处理。将一个复杂的逻辑，分成几个简单子步骤处理。2，但能合在一起的，尽量和在一起的。比如同级别的多个concat函数合并一个select也就是说，字段之间是并行的同级别处理，则放在一个hive ql；而字段间有前后处理逻...
阅读全文
posted @ 2015-04-28 17:40
sql的简单提高效率方法
摘要：少用in操作（效率极差），尽量用表关联代替 select要指定列，不要*（*会读入所有数据，而指定列则只提取涉及的列，减少io） 尽量有where（减少读取量），where操作列尽量有索引（加快查询） （mysql索引使用B-Tree数据结构对特定列额外组织存放,加快存储引擎查找记录的...
阅读全文
posted @ 2015-04-23 16:18
sql的索引：网上看到不错，整理成自己的东西
摘要：数据库建立索引可以提高查询速度。假如我们创建了一个 mytable表： CREATE TABLE mytable(ID INT NOT NULL,username VARCHAR(16) NOT NULL ); 随机向插入了10000条记录，其中有一条：5555, admin。在查找use...
阅读全文
posted @ 2015-04-23 15:38
python进行md5加密
摘要：代码函数import hashlibdef md5(str): m = hashlib.md5() m.update(str) return m.hexdigest()f = open('idfa.csv','r')result = ope...
阅读全文
posted @ 2015-04-22 12:01
python的subprocess：子程序调用（调用执行其他命令）；获取子程序脚本当前路径问题
摘要：python当前进程可以调用子进程，子进程可以执行其他命令，如shell，python，java，c...而调用子进程方法有 os模块参见：http://blog.csdn.net/longshenlmj/article/details/8331526而提高版是 subproces...
阅读全文
posted @ 2015-04-21 18:48
hadoop端口使用配置总结（非常好的总结）
摘要：转自http://www.aboutyun.com/thread-7513-1-1.html Hadoop集群的各部分一般都会使用到多个端口，有些是daemon之间进行交互之用，有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多，完全记不住哪个端口对应哪个应用，特...
阅读全文
posted @ 2015-04-20 11:21
python的u'字符串"（字符编码）：字符串前有u，表示字符串以unicode格式存储
摘要：举个例子>>> s = u'\u6ce8\u91ca'>>> su'\u6ce8\u91ca'>>> print s注释>>> print type(s)>>> print s.encode('gbk')注释字符串前加u表示为unicode编码，而当前文本的unicode编码 可...
阅读全文
posted @ 2015-04-17 17:01
Dynamics CRM 2013 SP1 客户表单界面上联系人subgrid上的添加现有联系人功能缺失
摘要：CRM2013打了SP1的同学会发现一个问题，客户关联联系人的1:N关系，在表单subgrid中添加联系人时，只能新建而无法添加现有联系人，而这个现象在之前的版本中是没有的。 我们通过工具ribbonworkbench打开联系人，在subgrid栏右击add existing按钮，选择...
阅读全文
posted @ 2015-04-15 21:20
机器学习与模式识别学习总结（一）
摘要：有幸用最近两个月的业余时间把”统计机器学习”一书粗略的学习了一遍，同时结合“模式识别”、“数据挖掘概念与技术”的知识点，对机器学习的一些知识结构进行梳理与总结： 机器学习包括两个主要问题1、学习什么，2、怎么学习。 首先来梳理一下学习什么 一、学习什么 1. 要解决什么问题？机器学...
阅读全文
posted @ 2015-04-14 20:28
sql中奇怪的sum(1),sum(2),count(1)，count（6）,count(*)：统计总数
摘要：sql的统计函数sql统计函数有 count 统计条数，配合group用 sum 累加指定字段数值但注意sum（1）就特殊sum（1）等同于count（*） sum（1）统计个数，功能和count（*）一样，但效率上count（*）高。所以尽量少用。举个小例子SE...
阅读全文
posted @ 2015-04-03 18:39
