Spider.create(new CustomProcessor()) .addUrl(urlStr) .addPipeline(new CustomPipeline()) .setDownloader(new HttpClientDownloader) .run(); // 执行爬虫(启动爬虫)
类似我的这个爬虫启动,必须先加pipelin,再加woenloader,不然不会执行,本人测试,如果有其他疑问,请指示
个人学习或者工作过程中的一些简要记录,欢迎各位大神一起指导,共同学习