11 2016 档案

emoji表情字符串 mysql 普通 utf8 格式无法存入
摘要：处理方法: 1.在可以忽略emoji表情的情况下，可以选择将emoji表情字符过滤掉，这样不用动mysql 表结构 过滤Java代码参考如下： public static String filterEmoji(String source) { if(source != null) { Pattern 阅读全文
posted @ 2016-11-07 13:50 梅里之巅 阅读(1211) 评论(0) 推荐(0) 编辑
Spark 算子
摘要：0.parallelize 1.map 2.mapValues 3.flatMap 4.mapPartitions 5.mapPartitionsWithIndex 6.filter 7.reduce 8.reduceByKey 9.groupBy 10.groupByKey 11.partitio 阅读全文
posted @ 2016-11-06 22:03 梅里之巅 阅读(164) 评论(0) 推荐(0) 编辑
使用chrome调试xpath
摘要：使用chrome调试xpath 相信玩过爬虫的都知道一些库,如lxml(python),可以使用xpath方便地对HTML进行提取，但当真正用的时候，问题就来了,想找到一个元素往往要调试好几遍，而且得先code，下面提供了几个工具及如何用chrome进行xpath test 1.XPath Help 阅读全文
posted @ 2016-11-01 18:06 梅里之巅 阅读(3617) 评论(0) 推荐(0) 编辑
Invalid signature file digest for Manifest main attributes
摘要：Solving a Spark error: Invalid signature file digest for Manifest main attributes When using spark-submit to run a jar, you may encounter this error: 阅读全文
posted @ 2016-11-01 17:53 梅里之巅 阅读(1489) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示