摘要：
今天完成了第二层链接爬取的设计，在爬取时发现了一个问题，爬取全部的链接，足足有几百万条可能更多，而使用谷歌驱动的缺点就是，爬取速度特别慢，如果网速差的话更慢，再加上防止知网访问频繁的验证码问题，必需加上休眠，如果要爬取所有链接，运行22天不断才能爬取完成，这还只是链接，所以准备修改代码，每一个专辑只 阅读全文
摘要：
根据上周的爬取经验，发现bs4，request等直接访问请求头的方法，很难能够爬取知网，不是找不到内容在哪里，就是访问出错，不知道是访问时携带数据的问题，还是被发现是代码访问，被拦截。 所以改变思路使用谷歌驱动器进行爬取，今天完成了第一次专辑链接的爬取。 阅读全文
摘要：
本周计划完成知网爬虫，并初步搭建界面设计(学习使用SSH架构)。 阅读全文
摘要：
今天依旧进行大作业数据的爬取，知网好像修改了结构，寻找数据所在的请求中。。。。 阅读全文
摘要：
今天完成了数据的抽取，并模仿案例2做了问答机器人的设计，该开始大作业的数据爬取了。 阅读全文
摘要：
今天在寻找算法的关系抽取时，发现时间已经不多了，也许我改换个思路，发现民航的数据，规律性很强，也许我该使用规则的方法进行实体关系的抽取。使用规则的方法抽取中。 阅读全文
摘要：
今天做实验时，发现老师给了实体提取代码和关系抽取代码，实体提取为LSTM，但是需要大量的实体标注，一个耗时耗力的工作，但是我的时间已经不多了，关系抽取，用的是hanlp的关系抽取，对于民航多数字这样的数据，抽取效果有点差，尝试寻找算法的关系抽取。 阅读全文
摘要：
今天运行了一个英文实体提取算法，但是只能提取英文的内容，中文的实体提取项目，需要下载词向量，下载了好一会，最后也是没有运行出来。 阅读全文