HarkLee

摘要： 1月总结： 进行的： 1）、hive的书已看完 2）、1月的31天应该跑了六七天步的样子吧，最近天特别冷，不敢跑（这算是借口吧……） 3）、进行了推荐算法的学习，usercf,itemcf,频繁项集,分类推荐,标签推荐,图论 4）、尝试学习nio和netty，因为做套分布式的项目来支撑公司的业务（主 阅读全文

摘要： 记录sqoop同步失败问题解决过程，过程真的是很崎岖。事发原因:最近突然出现sqoop export to mysql时频繁出错。看了下日志是卡在某条数据过不去了，看异常。看sqoop生成的mr并未发现问题。最后把要export的原始数据拿notepad++打开发现中断的数据是奇怪的乱码，查了一下是 阅读全文

摘要： 错误信息如下：Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes网上查到，说是需要重新打一下sqljdbc http:/... 阅读全文

摘要： public class App { private static String driverName = "org.apache.hive.jdbc.HiveDriver"; public static void main(String[] args) throws SQLException { ... 阅读全文

摘要： 1、Ctrl+Shift+O 引用包 2、Ctrl+Shift+F 格式化代码 3、Ctrl + / 注释和解除注释代码 4、Ctrl+M 代码最大最小化 5、ctrl+shift+r：打开资源 6、ctrl+o：快速outline 编辑 Ctrl+1 快速修复（最经典的快捷键,就不用多说了，可以解 阅读全文

摘要： http://www.crifan.com/files/doc/docbook/rec_soft_npp/release/htmls/npp_common_plugins.html 阅读全文

摘要： 开始试着每月做计划和总结，有节奏的规划自己的时间，一月计划：1、hive那本书拖了很久了，一月一定会看完。2、因为跟着阚爷的风准备试着做一下讲师，分配给我的是推荐这块，所以网上多找找做推荐的资源，要再熟悉一下常见推荐算法 要熟悉一下sparkml，准备拿它做协同过滤。 最终确定一套整体方案，并进... 阅读全文

摘要： 我之前用的是有问题的。。。应该是这样用： str_to_map('a=b c=d f=e',' ','=') 这样就会拆成map，等号前面是key，后面是value 阅读全文

摘要： 因为要往自定义的UDF传入复杂类型，所以需要对于这块的对应简单做一下总结string java.lang.String, org.apache.hadoop.io.Textint int, java.lang.Integer, org.apache.hadoop.io.IntWritablebool... 阅读全文

摘要： 李晓亮的2015年总结和2016年规划（未校对）2015年年终总结：1、公司上，这一年实际经历了三家公司；1）、第一家呆至今年5月，是鹏博士底下的一个O2O项目，可能公司与鹏博士之间出现了什么问题，反正老大们都撤了，我也就撤了。最后去了鹏博士的另一家子公司，做电子盒子的，在该公司数据团队服务。在该公... 阅读全文