摘要：
1. yarn 日志列表 2. impala-shell 3. Ozzie 调用shell which impala-shell 获得impala-shell的路径 然后写一个shell文件： 阅读全文
|
摘要：
1. yarn 日志列表 2. impala-shell 3. Ozzie 调用shell which impala-shell 获得impala-shell的路径 然后写一个shell文件： 阅读全文
摘要：
1. python 有专门的csv包，直接导入即可。 2. 直接使用普通文件的open方法 3. 使用csv.reader & writer，返回迭代类型 4. 使用 csv.DictReader & DictWriter, 返回dict 字典类型。 参考 5. Md5 加密输出 6. 求两个文件的 阅读全文
摘要：
1. 自定义udf 编写udf 1）pom.xml 2) 函数套路： 2. ODPS的查询结果无法复制，只能扣你需要的值 F12 或者页面右键（检查）调出页面源码； 左上角有 箭头，点击 、 然后移到，要扣的值那里点击。右边对应源码中的值即被选中。 阅读全文
摘要：
精通Web Analytics 2.0 : 用户中心科学与在线统计艺术 第十一章：变身分析忍者的指导原则 这个激动人心的一章，分析了几乎所有工作的各个方面。 目标很简单：使用成熟的方法来帮助避免淹死的数据或通过分析困扰瘫痪的灾难。 从现实世界的经验来看，这些方法使得通过简单的现成方法更快地识别洞察的 阅读全文
摘要：
今天无意中碰到一个很简单的计算逻辑，但是用hive想了一大会才实现。 示例表数据： 需求逻辑： 给每条记录追加一个字段，用于统计按照p1和p2字段分组后，每个组中的num的数目（去重后的count）。 示例结果： Mysql 超级简单的一句： Hive里 会报distinct有问题，去掉的话，明显与 阅读全文
摘要：
1. impala（官网） 实时交互SQL大数据查询工具 它提供SQL语义，能查询存储在Hadoop的HDFS和HBase中的PB级大数据。 Impala的最大特点也是最大卖点就是它的快速。 Impala完全抛弃了Hive+MapReduce这个不太适合做SQL查询的缓慢范式 通过使用与商用并行关系 阅读全文
摘要：
1. tensorflow 官方文档中文版（下载） 2. tensorflow mac安装参考 http://www.tuicool.com/articles/Fni2Yr 3. 源码例子目录 lib/python2.7/site-packages/tensorflow/models/image/m 阅读全文
摘要：
精通Web Analytics 2.0 : 用户中心科学与在线统计艺术 第十章：针对潜在的网站分析陷阱的最佳解决方案 是时候去处理网站分析中最棘手的一些问题了，然后获得属于你的黑带，这是成为分析忍者的最后一步。 本章介绍了您想要成为一名数据驱动型分析师和营销人员所会面临的一些障碍。 它不是关于工具; 阅读全文
摘要：
最近画了个简单的前端图，使用百度的echarts，基于原来项目的NodeJS+React+Webpack框架。在此记录一下： 1. 在react里封装echarts组件，并调用后端API。 （参考的是一个只有样本数据，无数据封装的例子，对于没有接触前端却要对接这个图的我，简直是折磨得不行）。 2. 阅读全文
摘要：
[转载自 http://blog.itpub.net/13880072/viewspace-1121612/] 元数据与主数据 企业数据管理的内容和范畴通常包含交易数据、主数据以及元数据。本文将主要针对主数据、元数据的相关概念以及应用跟大家做一个探讨。 1.1 主数据和主数据管理的概念 企业主数据是 阅读全文
|