摘要: 使用Python访问MySQL,需要一系列安装 Linux下MySQLdb安装见 Python MySQLdb在Linux下的快速安装 http://blog.csdn.NET/wklken/article/details/7271019 以下是windows环境下的: 1. 安装数据库mysql 阅读全文
posted @ 2016-12-01 10:24 OnTheWay_duking 阅读(310) 评论(0) 推荐(0) 编辑
摘要: 转载至:http://blog.csdn.net/dragontang/article/details/4151660 http://www.iteye.com/topic/340548# 阅读全文
posted @ 2016-11-29 12:13 OnTheWay_duking 阅读(3116) 评论(0) 推荐(0) 编辑
摘要: 最近在使用hadoop做apache日志分析,发现测试数据没问题,但数据一多就出问题,报 java.lang.StackOverflowError错误,最后定位为正则表达式栈溢出,发现某些行的日志数据长度超过了800,所以就会报这个错误, 最后的解决方案是把这一小部分数据舍去掉。 添加如下代码 St 阅读全文
posted @ 2016-11-29 11:28 OnTheWay_duking 阅读(1412) 评论(0) 推荐(0) 编辑
摘要: 这个问题来的有点莫名奇妙,之前我的hadoop运行一直是正常的,某一天开始运行Mapreduce就报这个错。 试过很多种方法都没有用,比如 1.path环境变量2.Hadoop bin目录下hadoop.dll和winutils.exe3.c:\windows\system32 下的hadoop.d 阅读全文
posted @ 2016-11-28 21:35 OnTheWay_duking 阅读(13675) 评论(0) 推荐(0) 编辑
摘要: Maven是当前流行的项目管理工具,但官方的库在国外经常连不上,连上也下载速度很慢。国内oschina的maven服务器很早之前就关了。今天发现阿里云的一个中央仓库,亲测可用。 修改${maven.home}/conf或者${user.home}/.m2文件夹下的settings.xml文件,在<m 阅读全文
posted @ 2016-11-28 16:41 OnTheWay_duking 阅读(12760) 评论(0) 推荐(1) 编辑
摘要: 1.工具准备,最靠谱的是hadoop说明文档里要求具备的那些工具。 到hadoop官网,点击source下载hadoop-2.7.3-src.tar.gz。 解压之 tar -zxvf hadoop-2.7.3-src.tar.gz 得到hadoop-2.7.3-src文件夹。 进入hadoop-2 阅读全文
posted @ 2016-11-26 15:24 OnTheWay_duking 阅读(9689) 评论(3) 推荐(0) 编辑
摘要: 一 下载maven bin包并解压 二 配置maven环境变量 将如下内容添加到/etc/profile中 执行source /etc/profile使环境变量生效 三 检查是否安装成功 阅读全文
posted @ 2016-11-26 15:18 OnTheWay_duking 阅读(805) 评论(0) 推荐(0) 编辑
摘要: 原文:http://www.cnblogs.com/reportmis/p/5939732.html ETL是BI项目最重要的一个环节,通常情况下ETL会花掉整个项目的1/3的时间,ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程,只有不断的发现问题并解决问题,才能使ETL运行效率 阅读全文
posted @ 2016-11-24 11:44 OnTheWay_duking 阅读(626) 评论(0) 推荐(0) 编辑
摘要: 保留crt_time最新的一个数据 将查询的去重数据保存到新表t_link2中,新表比源表t_link多一列 阅读全文
posted @ 2016-11-23 22:05 OnTheWay_duking 阅读(13511) 评论(0) 推荐(0) 编辑
摘要: 一 新建JAVA项目 并添加 hive-exec-2.1.0.jar 和hadoop-common-2.7.3.jar hive-exec-2.1.0.jar 在HIVE安装目录的lib目录下 hadoop-common-2.7.3.jar在hadoop的安装目录下的\share\hadoop\co 阅读全文
posted @ 2016-11-23 18:36 OnTheWay_duking 阅读(13585) 评论(1) 推荐(1) 编辑