摘要：完成农作物年度统计数据的爬取: 完成后的效果为近二十年的数据矩阵每次爬去均为国家更新后的数据 缺点:每次爬去需要用浏览器点击进入网页请求数据，应该是与反爬机制有关，动态数据。 明天的任务是数据处理，导入库并且存储进neo4j使其成为知识图谱的一部分 阅读全文

摘要：今天将昨天的农作物病虫害数据进行整理使其符合neo4j的数据格式； 还进行了农作物统计年鉴的爬取工作，国家统计局的网站有反扒机制： 优化方案：headers尽量完整，爬取前用浏览器打开一下网页。 阅读全文

摘要：今天做的内容：从中国农业网爬取农作物病虫害基本信息并保存到mysql数据库中 代码截图： 阅读全文