harrychinese

摘要： 计划做一个元数据平台, 因为要包含血缘分析功能, 所以要调研一下js 拓扑图库, 候选对象主要参考知乎上的问答, javascript 有哪些适合做网络拓扑图形展示的包？ https://www.zhihu.com/question/20643359 候选库 yfiles for html (收费) 阅读全文

摘要： 这是一个很水的博客, 介绍搭建plsql developer 11+ Oracle 11g 开发环境. 1. 本机上安装Oracle 11g express 对于开发足够了, 300MB的下载文件, 比正式版小多了, 64bit版本.下载地址: http://www.oracle.com/techn 阅读全文

摘要： -- *　注意: 本文的SQL是在　2017-09-14　测试的． 所以如果取当前日期, 结果为 2017-09-14* 相关数据类型 vertica 的 Date 类型仅包含日期, 而Oracle的Date的类不仅包含日期而且包含时间. vertica 的 time, 不带日期, 仅包含小时分秒v 阅读全文

摘要： 二叉树是一个重要的数据结构, 本文基于"二叉查找树"的python可视化 pybst 包, 做了一些改造, 可以支持更一般的"二叉树"可视化. 关于二叉树和二叉查找树的概念以及常用操作和算法基础, 可以看后面的参考文章. 二叉查找树可视化包 pybst pypi 有一个"二叉查找树"的可视化的pac 阅读全文

摘要： 马上要重新启程了, 要从传统行业转到互联网行业. 这里先在技术层面做点总结吧. 看好和看衰的技术和产品 看好:1. SQL 语言, 如果SQL语言加到编程语言排行榜, 肯定是第一. NoSQL带来的优点不足抵消SQL缺失带来的缺点. 2. HP Vertica 数据仓库, X86硬件+MPP+列式存 阅读全文

摘要： 首先了解一下JWT使用过程:Token 是服务器端在验证客户端user_id/pwd 没问题后, 签发给客户端的, 作为标示该用户的一个令牌, 之后客户端就使用该令牌和服务器端进行交互. Token的根本作用:就一点: 用于服务器端标示是哪个用户的请求JWT 安全吗? 基本上很安全, 否则就没有人用 阅读全文

摘要： 利用 yEd 软件做元数据管理yEd Diagram editor 是我常用的 flow chart 制图工具, 另外我也用它画 ER 和 use case 图. 总结一下我喜欢 yEd 的原因:1. 出色的对齐功能2. 可随意拖动Node, 永远不用担心相连的 Edge 会自动断开连接3. 每个 阅读全文

摘要： 之前有提及过jqgrid这个很不错的jquery grid, 非常适合企业MIS系统使用. 本文以一个显示学生成绩结果的页面, 来说明它的一些用法, 手写代码, 运行可能会报错, 不过思路是经过验证的. 加载theme 默认的jqgrid样式很难看, jqgrid 完全支持jquery ui的 th 阅读全文

摘要： 全栈的定义是什么? 如果 前端开发/后端开发/部署/运维 都能hold住就算full stack, 我现在都overflow stack了, 需求/架构/开发/项目管理/运维 都做. 单开发这块, DWBI项目也做, C/S项目也开发, B/S项目也开发, 最没有想到的是最近1年B/S的前端居然也做 阅读全文

摘要： Client端发送请求, 要在发送请求的时候添加HTTP Basic Authentication认证信息到请求中，有两种方法：1. 在请求头中添加Authorization： Authorization: "Basic 用户名和密码的base64字符串" 其中, 用户名和密码中间先用:号隔开, 然 阅读全文

摘要： Markdown 写作工具选择 候选产品 VS Code http://code.visualstudio.com 微软出品的轻量级编辑器, 免费, 和 sublime text 属于一个流派的, 配合下面几个插件 markdown 插件写. HBuilderX 这个软件写MD文档编辑体验非常棒, 阅读全文

摘要： 安装并启动jupyter 安装 后, 再安装 jupyter pip install jupyter 设置环境 ipython ipython dir= override the default IPYTHONDIR directory, ~/.ipython/ by default ipython 阅读全文

摘要： Hadoop 发行版的选择 大数据应用, Hadoop 仅仅是一个基础, 要用起来还需要安装很多组件, 比如Hive, Mahout, Sqoop, ZooKeeper 等等, 不得不需要考虑各个软件间兼容性问题: 版本是否兼容，组件是否有冲突，编译能否通过等, 一大堆事情. 真正要在企业中要用Ha 阅读全文

摘要： 开源项目airflow的一点研究调研了一些几个调度系统, airflow 更满意一些. 花了些时间写了这个博文, 这应该是国内技术圈中最早系统性研究airflow的文章了. 转载请注明出处 http://www.cnblogs.com/harrychinese/ . ================... 阅读全文

摘要： 关于 python packaging 和 package manager 以及 虚拟环境 以及 package index server python 社区终于和打包相关的事情通盘考虑了, https://packaging.python.org/guides/tool-recommendatio 阅读全文

摘要： 转自 http://blog.csdn.net/thy822/article/details/8489779这篇文章, 我不能同意更多, 所以转在这里. Here is my thinking after looking at both products...First of all let me ... 阅读全文

摘要： 目标: 找到一个好用的数据模型设计软件, 适合数据仓库项目开发或大型数据库设计. 结果: Eclipse ERMaster 功能不算太多, 但ER建模功能都有了, 使用体验最好, 我推荐使用 Eclipse ERMaster , 另外, PowerDesigner 功能最多, 不差钱可以选这个. 下 阅读全文

摘要： [一种声音]择校记2 先歌颂一下十月的天气，但我们没有去旅游，而是在家里待着，保持好心情。我们要把爱画画的女儿劝去走一走，逛逛街，吃吃喝喝。她刚刚迷上滴胶，要设计图案做手工艺品、做首饰。她兴趣太广，这点让我们有些不太满意。之前她喜欢刻 印章，全套日本产刻刀，各种胶皮，自己画了好多图案来刻。又之前，她... 阅读全文

摘要： [一种声音]择校记 择校记九月最后一天，女儿下午一点钟放学。几乎还在凌晨，我和孩子妈妈就激动起来了，分工合作，让我早早、千万别晚到去接女儿。一晃之间，她在平和学校住宿四个星期了。从来没有单独出门机会的她，在学校里乐不思蜀，竟然一点不适应都没有。八月最后一天，是她第一天入校，第一次住宿，妈妈各种收拾，... 阅读全文

摘要： 如果需要考虑绘图性能开销的话, 可以考虑PyQtGraph (http://www.pyqtgraph.org/), 比matplotlib更高效, 适用于开发实时更新数据的图表，如Tick图、K线图、期权波动率曲线. matplotlib 绘图基础 绘图: matplotlib核心剖析http:/ 阅读全文

摘要： 目前Teradata数据仓库的ETL作业采用ELT方式, 因为loading太重了, 需要将ETL压力转移到专门的ETL Server上. 对于ETL工具, 市场上已有很成熟的商业/开源工具, 比如Informatica的PowerCenter, IBM的Datastage, 开源的Kettle. ... 阅读全文

摘要： 提高Web性能, 最关键还是要看瓶颈在哪里. 手段不外乎下面几个. 实现从易到难一般为: 优化Big SQL -> 引入CDN -> 引入Memcache等缓存 -> Web负载平衡(多加Web服务器) -> 数据库读写分离 -> 数据库分表分库当然, 对于高并发的Web服务, 要实现高性能和高可用 阅读全文

摘要： 之前项目有用过pygal做chart图, 写代码很容易,几行代码就很做出一个看上去还不错的chart, 缺点是: 要调的再美观很难, Web上的交互效果较差. 在web上做可视化还是推荐采用Echarts或HighCharts Javascript库. 碰到个需求, 需要在pptx中生成chart图... 阅读全文

摘要： 我将python的主力开发工具从eclipse+pydev切换到pycharm社区版了. 选择pycharm 的原因:1. pycharm可以实时按照pep8的规范检查code style和naming rules, 尤其是naming rules(类名/方法名/attr名/文件名), 这个我非常看... 阅读全文

摘要： 在这篇文章中, 将讨论EDW on Hadoop 有哪些备选方案, 以及我个人的倾向性, 最后是建构方法. 欢迎转载, 但必须注明原贴(刘忠武, http://www.cnblogs.com/harrychinese/p/edw_on_hadoop.html). 阅读全文

摘要： Teradata的SQL设计和Oracle真不是一个水平, 一点美感的没有. 上个世纪它靠着MPP一招鲜吃变天, 居然做了十多年数据仓库的老大, 时过境迁, 现在有不少SQL On Hadoop 产品已经出来了, 考虑到scale out的成本和能力, Teradata 数据仓库优势荡然全无. 将来... 阅读全文

摘要： 最终91行为: set JAVA_OPTS=-XX:MaxPermSize=128m %OUR_JAVA_OPTS% -Xms%OUR_JAVA_MEM% -Xmx%OUR_JAVA_MEM% -Dscala.usejavacp=true -Xss10m 5. 补配hadoop环境变量 HADOOP 阅读全文

摘要： wtforms是一个表单模板库, 下面以修改密码表单为例简单说明其用法. 我们可以用python代码定义form的基本元素, 比如用户名/邮箱, 并给定各个元素的validation条件. 然后在render_template()方法中, 将python的form类传递给html模板. 在模板上, ... 阅读全文

摘要： easyui datagrid 在IE上加载速度慢, 150行数据就无法忍受了. firefox加载速度还可以. jquery easyui datagrid使用参考 http://www.cnblogs.com/youring2/archive/2013/03/01/2938661.html 优化 阅读全文

摘要： edwin从发布以来, 得到了不少关注, 获得了不少star. 最近又做了一些很有意义的改进, 同时完善了部分文档. 项目地址: https://github.com/harryliu/edwin , 欢迎fork或PR, 如果喜欢, 请打star. 再次介绍一下edwin项目edwin是一个报警和... 阅读全文

摘要： 简单介绍一下edwinedwin是一个报警和监控平台, 可以使用它监控任意东西, 如有异常(分为警告级和严重级), 可以发出报警. 可以自定义报警的通知方式, 比如邮件/短信/电话. 另外, 它提供一个web UI, 能以dashboard形式展现监控指标的状态. edwin对于监控项目的组织形式... 阅读全文

摘要： 修正python pep8的警告挺无趣的, 用了 autopep8 感觉比较爽. 记录如下. ----------------pep8检查----------------平时我用pydev做pep8检查, 最近处理的是一堆单独的python脚本, 用komodo edit做pep8检查. komod... 阅读全文

摘要： 做了一个html E-Letter项目. 邮件模板采用jinja2, html 邮件内容生成简直太爽了. 整个项目开发只用了2个小时, 调试却花了大半天时间, 生成的邮件总是发不出去. 于是, 打开 smtp 的debuglevel, 发现邮件已经mail queue了, 但就是收不到邮件. mai... 阅读全文

摘要： request对象的常用属性 具体使用方法如下:request.headers, request.headers.get('If-None-Match')request.json, request.json['value'] 或 request.json.get('detail_msg', "")r 阅读全文

摘要： #访问不需要登录的网页import urllib2target_page_url='http://10.224.110.118/myweb/view.jsp' f = urllib2.urlopen(target_page_url)httpCodes=f.getcode()responseStr =... 阅读全文

摘要： 数据库存了些中文字符, 比如'处理脚本'这样的汉字, 结果导致一个python程序报错. 下面记录处理过程和相关结论. ===========================dal.py 程序片段,python 2.7,使用了pypyodbc模块===========================... 阅读全文

摘要： ============================解决pydev无法增加jython271 interpreter的问题============================从jython.org上下载了 jython-standalone-2.7-b1.jar, 获知jython271需要... 阅读全文

摘要： 看到小芮介绍了pygal文章后, http://rfyiamcool.blog.51cto.com/1030776/1378400, 我一直搞数据工作, 所以对于这种数据的展现很有兴趣. 做了点研究, 记录如下: =================pygal的特点=================W... 阅读全文

摘要： Python 开发桌面程序, 之前写过一个使用IronPython的博客. 下面这个方案使用 delphi 作为主开发语言,通过 python4delphi 控件包将 python 作为 script 嵌入其中, Delphi + Python, 偏上加偏, pyscripter IDE 算是这种方案唯一的成果. =================================Delphi + Python的特点=================================Delphi GUI方面还是很强, 但第3方类库太缺了. Python正好相反, pypi的类库太丰富了. 两者结合 阅读全文

摘要： ====================================conversion routines====================================Format('There are now %d records in the table %s', [10,'Tab... 阅读全文