摘要：
今天读取solr里面的数据，往mysql插入时报错， Incorrect string value: '\xF0\x9F\x93\x8D\xE8\x88...' for column 'title' at row 1 原因是标题有Emoj表情相关字符，因为我这边不需要保留Emoj表情，不需要复原显示 阅读全文
摘要：
solr时间格式是2015-07-06T00:00:00.0Z，所以下面是把当前时间做转换 solr解决时区差8小时的问题,你可以通过配置文件修改solr时间差，也可以通过程序 阅读全文
摘要：
在互联网上进行自动数据采集（抓取）这件事和互联网存在的时间差不多一样长。今天大众好像更倾向于用“网络数据采集”，有时会把网络数据采集程序称为网络机器人（bots）。最常用的方法是写一个自动化程序向网络服务器请求数据（通常是用 HTML 表单或其他网页文件），然后对数据进行解析，提取需要的信息。 本文 阅读全文
摘要：
【 转 】http://www.cnblogs.com/FengYan/archive/2012/07/31/2614335.html 由于要准备测试数据，不得不大量爬取某个网站的内容。为了防止被封，特意将爬虫设计为单线程同步的爬虫。结果在爬了大约3万个页面的时候，对方发回Access Denied 阅读全文
摘要：
1，如果只是想简单的写个定时任务，比如10分钟跑一次，那么ScheduledExecutorService是比较方便的，下面举个简单的例子 2，如果想早上8点到晚上8点采集（期间还是10分钟跑一次），别的时间不采集，那就要在CrawlerTest()里面run()方法做判断 3，如果想指定就8点，1 阅读全文
摘要：
HttpClient client = new HttpClient(); GetMethod get=new GetMethod("http://www.baidu.com"); try { client.executeMethod(get); } catch (HttpException e) { // TODO Auto-ge... 阅读全文
摘要：
我这里提供2个方法都可以实现：第一个是createIPAddress（）和convertStreamToString（） 第二个方法是checkProxyIp（） 阅读全文
摘要：
一、JPype简述 1.JPype是什么？ JPype是一个能够让 python 代码方便地调用 Java 代码的工具，从而克服了 python 在某些领域（如服务器端编程）中的不足。 2.JPype与Jython(JPython后继者)的区别？ 1）运行环境不同：jython运行在j 阅读全文
摘要：
对于这种时间格式：發表於: 星期一 五月 28, 2012 6:59 am 对于这种正常的时间格式 http://www.cdnews.com.tw 2015-11-02 17:33:55 对于这种时间格式 發表於: 星期三 十二月 14, 2016 6:45 pm 阅读全文
摘要：
首先需求slf4j-api-1.5.8.jar和slf4j-log4j12-1.5.8.jar包然后在src下创建log4j.properties文件，添加 ## XXX GeeData Logging Configuration#log4j.rootLogger=info, stdout, R#s... 阅读全文