最近工作中遇到一个需求 多线程先爬取页面 然后将爬取的结果持久化到数据库中 ,一些大文本的内容需要持久化到 xml文件中;
下面是运行后的结果:
xml 文件写入结果:
数据库写入结果:
再来张项目结构图:
直接上源码吧;
https://pan.baidu.com/s/1i4ScI1Z
z2jc
