摘要:
昨天写了一个小爬虫,爬取了豆瓣上2017年中国大陆的电影信息,网址为 "豆瓣选影视" ,爬取了电影的名称、导演、编剧、主演、类型、上映时间、片长、评分和链接,并保存到MongoDB中。 一开始用的本机的IP地址,没用代理IP,请求了十几个网页之后就收不到数据了,报HTTP错误302,然后用浏览器打开 阅读全文
摘要:
昨天写了一个小爬虫,爬取了豆瓣上2017年中国大陆的电影信息,网址为 "豆瓣选影视" ,爬取了电影的名称、导演、编剧、主演、类型、上映时间、片长、评分和链接,并保存到MongoDB中。 一开始用的本机的IP地址,没用代理IP,请求了十几个网页之后就收不到数据了,报HTTP错误302,然后用浏览器打开 阅读全文
|