摘要:
今日完成内容:数据入neo4j库,网页调取neo4j数据库进行查询,进行基本的展示 存在问题: 1.数据单一化,单纯的朝向农作物实体,没有其他的关系 2.界面简单不美观 明天任务:数据增加,维度增加,界面的可操作性提高,并且进行农作物全国地图的展示推荐 阅读全文
摘要:
今日完成任务:将现有数据整合成网络 明天任务内容:将已有数据导入neo4j数据库看一下效果 效果可观的话,会进行下一步框架搭建 阅读全文
摘要:
今日完成内容:爬取国家农作物统计年鉴的爬取 后面的主要工作方向是1.将已有数据形成知识图谱网络2.农作物各个生长时期的展示 阅读全文
摘要:
完成农作物年度统计数据的爬取: 完成后的效果为近二十年的数据矩阵每次爬去均为国家更新后的数据 缺点:每次爬去需要用浏览器点击进入网页请求数据,应该是与反爬机制有关,动态数据。 明天的任务是数据处理,导入库并且存储进neo4j使其成为知识图谱的一部分 阅读全文
摘要:
今天将昨天的农作物病虫害数据进行整理使其符合neo4j的数据格式; 还进行了农作物统计年鉴的爬取工作,国家统计局的网站有反扒机制: 优化方案:headers尽量完整,爬取前用浏览器打开一下网页。 阅读全文
摘要:
今天做的内容:从中国农业网爬取农作物病虫害基本信息并保存到mysql数据库中 代码截图: 阅读全文
摘要:
完成第二部分结构化数据爬取 农作物种植技术部分 来源:农业种植网 阅读全文
摘要:
学习内容:补充百度百科字段, 参照了比较多的网上的知识图谱系统,觉得自己的还是有些问题,数据集都是一些固定的爬取 未能做到自动实施爬取,数据来源单一, 没有看懂数据标注是用在什么地方。 阅读全文