harrychinese

2018年4月27日

摘要：总结一下我使用到的一些比较优秀的Python package 通用包 Werkzeug itsdangerous Jinja2 Flask SQLAlchemy , 这个ORM 用的少一些 docopt, 命令行接口 python-dateutil Babel, 国际化 http://babel.p 阅读全文

posted @ 2018-04-27 19:16 harrychinese 阅读(750) 评论(0) 推荐(0) 编辑

开发更健壮python程序的一些工具

摘要：在众多语言中, Java 生态系统发展得最好, 比如异常logging报警, 比如性能监控工具. Python其实生态也不错, 这里列出一些出色的工具. LogBook, 并结合 raven-python handler 与 sentry 集成. http://logbook.readthedocs 阅读全文

posted @ 2018-04-27 12:54 harrychinese 阅读(297) 评论(0) 推荐(0) 编辑

2018年4月23日

Kettle系列: 马进举开源的Kettle通用插件 KettleEasyExpand

摘要：扩展Kettle功能, 经常使用 user defined java class 组件, 或者自己开发Java插件. 两种方式都有各自的痛点: 1. 在user defined java class 组件中写java代码, 该环境没有代码自动提示, 没有语法检查, 基本上需不断试错才能完成开发, 效阅读全文

posted @ 2018-04-23 08:49 harrychinese 阅读(1820) 评论(0) 推荐(0) 编辑

2018年4月18日

Impala系列:Impala查询优化

摘要：理解 mem_limit 参数 set mem_limit=-1b #取消内存限制set mem_limit=1gb #设置单机内存上限为1GB, 注意是单机set mem_limit=1mb #设置单机内存上限为1MB, 注意是单机如果设置了 mem_limit, impala 将跳过Query内阅读全文

posted @ 2018-04-18 12:57 harrychinese 阅读(4247) 评论(0) 推荐(0) 编辑

Kudu系列: Kudu主键选择策略

摘要：每个Kudu 表必须设置Pimary Key(unique), 另外Kudu表不能设置secondary index, 经过实际性能测试, 本文给出了选择Kudu主键的几个策略, 测试结果纠正了我之前的习惯认知. 简单介绍测试场景: 表中有一个unqiue字段Id, 另外还有一个日期维度字段hist 阅读全文

posted @ 2018-04-18 12:54 harrychinese 阅读(3308) 评论(0) 推荐(1) 编辑

2018年4月10日

Kettle系列:Pentaho DI (Kettle) 下载地址

摘要： Kettle 8 已经发布, 下载地址还不太好找, 这里记录一下: 注: 所有大型软件升级都需要谨慎, 尤其是大版本的第一个小版本都不推荐在生产环境使用. github 总是有最新版 https://github.com/pentaho/pentaho-kettle/releases PDI-CE 阅读全文

posted @ 2018-04-10 20:59 harrychinese 阅读(4351) 评论(0) 推荐(1) 编辑

2018年4月4日

kudu系列: Java API使用和效率测试

摘要： Kudu+Impala很适合数据分析, 但直接使用Insert values语句往Kudu表插入数据, 效率实在不好, 测试下来insert的速度仅为80笔/秒. 原因也是显然的, Kudu本身写入效率很高, 但是Impala并没有做这方面优化, 观察下来每次Impala语句执行的overhead都阅读全文

posted @ 2018-04-04 22:12 harrychinese 阅读(6049) 评论(0) 推荐(0) 编辑

2018年3月23日

git 提交解决冲突(转载)

摘要：转载 git 提交解决冲突 http://www.cnblogs.com/qinbb/p/5972308.html 一：git命令在提交代码前，没有pull拉最新的代码，因此再次提交出现了冲突。 error: You have not concluded your merge (MERGE_HEAD 阅读全文

posted @ 2018-03-23 12:38 harrychinese 阅读(870) 评论(0) 推荐(0) 编辑

2018年3月21日

impala系列: 时间函数

摘要：时间函数 --当前时间戳now()current_timestamp() --当前时间戳相对于 linux epoch 的秒数unix_timestamp() , 不带参数, 则返回 '1970-01-01 00:00:00' UTC 到现在的秒数 -- 转换到相对于 linux epoch 的秒数阅读全文

posted @ 2018-03-21 09:01 harrychinese 阅读(50323) 评论(0) 推荐(0) 编辑

impala系列: 字符串函数

摘要：常用字符串函数 base64decode(string str) : base64 解码.base64encode(string str) : base64 编码. fnv_hash(type v) : 对参数值做hash, 注意结果有正有负 trim(string a): 去除 leading 和阅读全文

posted @ 2018-03-21 08:59 harrychinese 阅读(22941) 评论(0) 推荐(0) 编辑

Impala系列: Impala常用的功能函数

摘要：查看内置的函数 hive 不需要进入什么内置数据库, 即可使用 show functions 命令列出所有内置的函数. show functions; -- hive仅显示函数的名称, 没有参数和返回值信息. desc function function_name ; -- 该命令能显示函数的具体用阅读全文

posted @ 2018-03-21 08:58 harrychinese 阅读(10209) 评论(0) 推荐(0) 编辑

impala系列:impala特有的操作符

摘要： Impala 特有的操作符 ILIKE 操作符, 忽略大小写的 like 操作符.REGEXP 操作符, 正则匹配操作符.RLIKE 操作符, 同 REGEXP 操作符.IREGEXP 操作符, 忽略大小写的正则匹配符.IS DISTINCT FROM 操作符, 判断前后两个表达式是否不相等, 和< 阅读全文

posted @ 2018-03-21 08:54 harrychinese 阅读(3301) 评论(0) 推荐(0) 编辑

2018年3月19日

impala系列: 同步Hive元数据和收集统计信息

摘要： Impala 获取hive 的 metadata Impala 通常和Hive共用同一个metadata 数据库(通常是MySQL/PostgreSQL), 所以Impala 能够读取到Hive的元数据信息. 如果Impala需要访问Hive表, 需要将Hive metadata 刷新到impala 阅读全文

posted @ 2018-03-19 09:02 harrychinese 阅读(6747) 评论(0) 推荐(1) 编辑

2018年3月15日

ETL脚本的版本管理方法和 SourceTree 使用

摘要：使用git管理Kettle 作业的一个注意之前 ETL 作业是用 svn 管理的, 迁移到 git 管理也算是大势所趋吧. 这里重点讲一个git管理kettle作业的注意事项: kettle 既支持基于数据库的repository也支持基于文件repository, 但我更推荐基于文件的repos 阅读全文

posted @ 2018-03-15 09:14 harrychinese 阅读(848) 评论(0) 推荐(0) 编辑

2018年3月5日

几本不错的数据仓库和Hadoop书籍

摘要： <<Pentaho Kettle解决方案：使用PDI构建开源ETL解决方案>>, Matt Casters等著，初建军翻译<<Hadoop应用架构>> Mark Grover编著, OREILLY出版<<Hadoop权威指南>> Tom White编著, OREILLY出版<<数据仓库工具箱 --维阅读全文

posted @ 2018-03-05 18:27 harrychinese 阅读(1802) 评论(0) 推荐(0) 编辑

Kudu系列-基础

摘要： Apache Kudu 支持Insert/Update/Delete 等写操作(Kudu 随机写效率也很高, 实测对一个窄表做全字段update, 其速度达到了Insert速度的88%, 而vertica的update效率比insert差很多), Kudu 表文件是列式数据格式(和Parquet格式阅读全文

posted @ 2018-03-05 18:24 harrychinese 阅读(5276) 评论(0) 推荐(1) 编辑

2018年2月22日

sql parser

摘要：最近在整理很多SQL代码, 需要分析出每个SQL的目标表和源表各有哪些, 网上没有找到工作具, 打算写个工具. Java调研结果:1. 商业组件包 sqlparser 有试用版组件, 限制SQL少于10000字符,99天后过期2. 使用 presto 的 parser 或 druid 的 parse 阅读全文

posted @ 2018-02-22 21:45 harrychinese 阅读(2904) 评论(0) 推荐(0) 编辑

2017年12月23日

Kibana 搜索语法

摘要： Kibana 搜索语法 Kibana 支持三种搜索语法, 分别是 Lucene query 语法, 基于 json 的 ES query语法, 以及 Kuery 语法. 前两种语法可以直接使用, Kuery语法需要先启用. Lucene query 语法学习简单快速, ES query 语法相对复杂阅读全文

posted @ 2017-12-23 20:13 harrychinese 阅读(14773) 评论(0) 推荐(0) 编辑

2017年12月8日

impala系列: 基本命令和jdbc连接

摘要： ======================= 使用impala shell 登录 ======================= impala shell auth_creds_ok_in_clear l i ip_address u user_name ===================== 阅读全文

posted @ 2017-12-08 22:21 harrychinese 阅读(14216) 评论(0) 推荐(2) 编辑

2017年11月24日

Kafka 简要使用说明

摘要： Kafka 简要使用说明参考文章 Kafka背景及架构介绍 Apache kafka 工作原理介绍 Kafka集群操作指南 kafka操作概念: Partition, consumer group, rebalance 在使用中, 如果要保证消费 Kafka 的数据和生产数据的次序严格一致,一个阅读全文

posted @ 2017-11-24 22:32 harrychinese 阅读(865) 评论(0) 推荐(0) 编辑

2017年11月10日

Kettle 和数据建模的几个学习资料

摘要：视频课程: 1. 初建军的【慕课大巴分享】炼数成金——深入BI - Kettle 篇基础书:1. Kettle 3.0 用户手册, 文件名为: ETL工具Kettle用户手册(上).pdf, 出品方: 深圳市神盾信息技术有限公司, 20082. Kettle 3.2 使用说明书, 文件名为: K 阅读全文

posted @ 2017-11-10 21:29 harrychinese 阅读(1248) 评论(0) 推荐(0) 编辑

2017年10月31日

数据建模工具系列之让Oracle Data Modeler支持Vertica

摘要：引子在上篇博客中重点介绍了几个建模工具的评估, 并选定了SQL Power Architect作为最终的建模工具, 在评估过程中也对Oracle Data Modeler支持Vertica做了点研究, 虽然最终放弃使用Oracle Data Modeler, 但针对Oracle Data Mode 阅读全文

posted @ 2017-10-31 21:34 harrychinese 阅读(548) 评论(0) 推荐(0) 编辑

数据建模工具系列之让SQL Power Architect支持Vertica

摘要：几款数据建模软件评估下面是流行几款数据建模软件: 软件特点支持Vertica? 免费? ERWin 功能强大, 操作较繁琐不支持Vertica 商业软件,价格高 Power Designer 功能强大,操作很灵活不支持Vertica 商业软件,价格高 Oracle SQL develope 阅读全文

posted @ 2017-10-31 21:05 harrychinese 阅读(1853) 评论(0) 推荐(0) 编辑

2017年10月13日

几个js 拓扑图库

摘要：计划做一个元数据平台, 因为要包含血缘分析功能, 所以要调研一下js 拓扑图库, 候选对象主要参考知乎上的问答, javascript 有哪些适合做网络拓扑图形展示的包？ https://www.zhihu.com/question/20643359 候选库 yfiles for html (收费) 阅读全文

posted @ 2017-10-13 21:12 harrychinese 阅读(6263) 评论(0) 推荐(1) 编辑

plsql developer 11 + Oracle 11g 开发环境setup

摘要：这是一个很水的博客, 介绍搭建plsql developer 11+ Oracle 11g 开发环境. 1. 本机上安装Oracle 11g express 对于开发足够了, 300MB的下载文件, 比正式版小多了, 64bit版本.下载地址: http://www.oracle.com/techn 阅读全文

posted @ 2017-10-13 12:25 harrychinese 阅读(734) 评论(0) 推荐(0) 编辑

2017年9月17日

vertica系列:时间相关函数

摘要： -- *　注意: 本文的SQL是在　2017-09-14　测试的．所以如果取当前日期, 结果为 2017-09-14* 相关数据类型 vertica 的 Date 类型仅包含日期, 而Oracle的Date的类不仅包含日期而且包含时间. vertica 的 time, 不带日期, 仅包含小时分秒v 阅读全文

posted @ 2017-09-17 20:09 harrychinese 阅读(13790) 评论(0) 推荐(1) 编辑

2017年8月29日

二叉树的python可视化和常用操作代码

摘要：二叉树是一个重要的数据结构, 本文基于"二叉查找树"的python可视化 pybst 包, 做了一些改造, 可以支持更一般的"二叉树"可视化. 关于二叉树和二叉查找树的概念以及常用操作和算法基础, 可以看后面的参考文章. 二叉查找树可视化包 pybst pypi 有一个"二叉查找树"的可视化的pac 阅读全文

posted @ 2017-08-29 09:18 harrychinese 阅读(5398) 评论(0) 推荐(0) 编辑

2017年7月29日

技术总结

摘要：马上要重新启程了, 要从传统行业转到互联网行业. 这里先在技术层面做点总结吧. 看好和看衰的技术和产品看好:1. SQL 语言, 如果SQL语言加到编程语言排行榜, 肯定是第一. NoSQL带来的优点不足抵消SQL缺失带来的缺点. 2. HP Vertica 数据仓库, X86硬件+MPP+列式存阅读全文

posted @ 2017-07-29 16:18 harrychinese 阅读(666) 评论(2) 推荐(1) 编辑

2017年4月14日

JWT(Json web token)

摘要：首先了解一下JWT使用过程:Token 是服务器端在验证客户端user_id/pwd 没问题后, 签发给客户端的, 作为标示该用户的一个令牌, 之后客户端就使用该令牌和服务器端进行交互. Token的根本作用:就一点: 用于服务器端标示是哪个用户的请求JWT 安全吗? 基本上很安全, 否则就没有人用阅读全文

posted @ 2017-04-14 19:30 harrychinese 阅读(942) 评论(0) 推荐(0) 编辑

2017年2月10日

利用 yEd 软件做元数据管理

摘要：利用 yEd 软件做元数据管理yEd Diagram editor 是我常用的 flow chart 制图工具, 另外我也用它画 ER 和 use case 图. 总结一下我喜欢 yEd 的原因:1. 出色的对齐功能2. 可随意拖动Node, 永远不用担心相连的 Edge 会自动断开连接3. 每个阅读全文

posted @ 2017-02-10 11:51 harrychinese 阅读(1644) 评论(0) 推荐(0) 编辑

2017年1月23日

jqgrid again

摘要：之前有提及过jqgrid这个很不错的jquery grid, 非常适合企业MIS系统使用. 本文以一个显示学生成绩结果的页面, 来说明它的一些用法, 手写代码, 运行可能会报错, 不过思路是经过验证的. 加载theme 默认的jqgrid样式很难看, jqgrid 完全支持jquery ui的 th 阅读全文

posted @ 2017-01-23 08:52 harrychinese 阅读(501) 评论(0) 推荐(0) 编辑

2016年10月21日

Web 前端

摘要：全栈的定义是什么? 如果前端开发/后端开发/部署/运维都能hold住就算full stack, 我现在都overflow stack了, 需求/架构/开发/项目管理/运维都做. 单开发这块, DWBI项目也做, C/S项目也开发, B/S项目也开发, 最没有想到的是最近1年B/S的前端居然也做阅读全文

posted @ 2016-10-21 13:40 harrychinese 阅读(413) 评论(0) 推荐(0) 编辑

2016年9月1日

HTTP Basic Authentication

摘要： Client端发送请求, 要在发送请求的时候添加HTTP Basic Authentication认证信息到请求中，有两种方法：1. 在请求头中添加Authorization： Authorization: "Basic 用户名和密码的base64字符串" 其中, 用户名和密码中间先用:号隔开, 然阅读全文

posted @ 2016-09-01 13:51 harrychinese 阅读(721) 评论(0) 推荐(0) 编辑

2016年2月4日

使用Visual studio code (VS code)写Markdown文档

摘要： Markdown 写作工具选择候选产品 VS Code http://code.visualstudio.com 微软出品的轻量级编辑器, 免费, 和 sublime text 属于一个流派的, 配合下面几个插件 markdown 插件写. HBuilderX 这个软件写MD文档编辑体验非常棒, 阅读全文

posted @ 2016-02-04 01:21 harrychinese 阅读(2362) 评论(0) 推荐(0) 编辑

2016年2月2日

jupyter notebook + pyspark 环境搭建

摘要：安装并启动jupyter 安装后, 再安装 jupyter pip install jupyter 设置环境 ipython ipython dir= override the default IPYTHONDIR directory, ~/.ipython/ by default ipython 阅读全文

posted @ 2016-02-02 17:41 harrychinese 阅读(10413) 评论(0) 推荐(0) 编辑

2016年1月28日

快速搭建大数据分析虚拟机

摘要： Hadoop 发行版的选择大数据应用, Hadoop 仅仅是一个基础, 要用起来还需要安装很多组件, 比如Hive, Mahout, Sqoop, ZooKeeper 等等, 不得不需要考虑各个软件间兼容性问题: 版本是否兼容，组件是否有冲突，编译能否通过等, 一大堆事情. 真正要在企业中要用Ha 阅读全文

posted @ 2016-01-28 13:30 harrychinese 阅读(2367) 评论(1) 推荐(1) 编辑

2016年1月5日

系统研究Airbnb开源项目airflow

摘要：开源项目airflow的一点研究调研了一些几个调度系统, airflow 更满意一些. 花了些时间写了这个博文, 这应该是国内技术圈中最早系统性研究airflow的文章了. 转载请注明出处 http://www.cnblogs.com/harrychinese/ . ================... 阅读全文

posted @ 2016-01-05 12:58 harrychinese 阅读(16102) 评论(8) 推荐(7) 编辑

2016年1月4日

pip高级使用技巧以及搭建自己的pypi服务器

摘要：关于 python packaging 和 package manager 以及虚拟环境以及 package index server python 社区终于和打包相关的事情通盘考虑了, https://packaging.python.org/guides/tool-recommendatio 阅读全文

posted @ 2016-01-04 13:07 harrychinese 阅读(3321) 评论(0) 推荐(0) 编辑

2015年11月13日

[转]Informatica vs SSIS

摘要：转自 http://blog.csdn.net/thy822/article/details/8489779这篇文章, 我不能同意更多, 所以转在这里. Here is my thinking after looking at both products...First of all let me ... 阅读全文

posted @ 2015-11-13 17:39 harrychinese 阅读(505) 评论(0) 推荐(1) 编辑

2015年10月16日

数据模型设计软件调研

摘要：目标: 找到一个好用的数据模型设计软件, 适合数据仓库项目开发或大型数据库设计. 结果: Eclipse ERMaster 功能不算太多, 但ER建模功能都有了, 使用体验最好, 我推荐使用 Eclipse ERMaster , 另外, PowerDesigner 功能最多, 不差钱可以选这个. 下阅读全文

posted @ 2015-10-16 21:39 harrychinese 阅读(759) 评论(0) 推荐(0) 编辑

公告