摘要： 挺不错的一个设计模式，先记下来以便以后哪里可以用到： 接口：数据处理管道的阀门(处理器)： 对应实现类: 接口：数据处理管道： 对应实现类： 代码： public class DataPipelineImpl implements DataPipeline{ private List<DataVal 阅读全文

摘要： 不bb，直接上代码: /** * 传输数据 * @param libraryId */ @RequestMapping(value = "/**transfer****", method = RequestMethod.GET) @ResponseBody public Object transfe 阅读全文

摘要： 首先从国外一个网站爬取了免费的代理ip信息存到mongodb中；接着代码设置: 在爬虫客户端抽象类中添加属性: 设置代理的代码其实就以下几句: firefoxProfile.setPreference("network.proxy.type", 1); firefoxProfile.setPrefe 阅读全文

摘要： 后台需要将用户信息数据导入到Excel表中提供给相关人员: 首先查询数据就不多说了； 导入Excel表直接亮代码（采用的是jxl的jar包提供的方法）： public static File ImportToExcel(List<String> data,String title) { log.in 阅读全文

摘要： 爬虫任务里发现有部分图片没有加载完成就进行文件流上传，导致有一些图片是空白，需要判断一下: 首选获取image标签元素: WebElement image = driver.findElement(By.cssSelector("div#media_container > img")); boole 阅读全文

摘要： 之前爬取的网站中有部分需要验证码才能点击下载图片，所以查阅了一些破解验证码相关的资料； 思路:先将验证码图片下载到临时文件中，再用工具去破解，然后将破解的验证码通过selenium模拟输入到文本中再模拟点击完成； 附上代码: //模拟点击免费下载 driver.findElement(By.id(" 阅读全文

摘要： 需求:将本地上传的word文档解析并放入数据库中 代码: import java.io.ByteArrayOutputStream;import java.io.File;import java.io.FileNotFoundException;import java.io.IOException; 阅读全文

摘要： 这两周由于公司需要大量数据爬取进数据库给用户展示素材，在不停的做爬虫工作，现在总算基本完成就剩清理数据的工作； 公司有一个采集器管理后台的项目，可以直接把爬虫代码打包成jar导入进去设置定时参数即可； 关于Jsoup的一些命令使用示例: 解析html文档: public void testAddSB 阅读全文

摘要： 之前公司项目的数据都是从mysql查询，后面需求变更；同时技术上相应的也要改变策略，决定将mongodb和mysql的数据通过es建立索引来查询； 对于还没有接触或者真正了解es的可以先看一下相关Lucene的原理，详情看: http://www.cnblogs.com/forfuture1978/ 阅读全文

摘要： public static ArrayList<File> getListFiles(Object obj) { File directory = null; if (obj instanceof File) { directory = (File) obj; } else { directory 阅读全文