随笔分类 -  part90 爬虫

Scrapy框架
摘要：一、介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。 但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon A 阅读全文
posted @ 2019-08-13 21:12 困了就睡觉觉 阅读(178) 评论(0) 推荐(0) 编辑
MongoDB的安装与使用
摘要：一、安装 1、 官网下载：https://www.mongodb.com 2、找到箭头所指 3、等待下载loading 4、下载完毕开始安装 5、按照图示 6、选中Custom选项 7、更改路径：点击Browser：D：\MongoDB\ 8、点击next 9、确保Data Directory 和L 阅读全文
posted @ 2019-08-12 17:06 困了就睡觉觉 阅读(162) 评论(0) 推荐(0) 编辑
爬虫小案例——爬取天猫
摘要：分析 天猫控制登录字段： sort： 排序 s：起始第几个商品 如：http://list.tmall.com/search_product.htm?s=60&q=Ůװ&sort=s 跳转到登录页面 如果想正常访问，删除字段sort与s http://list.tmall.com/search_pr 阅读全文
posted @ 2019-08-10 17:24 困了就睡觉觉 阅读(2468) 评论(0) 推荐(1) 编辑
爬虫小案例——爬取豆瓣电影
摘要：分析 https://movie.douban.com/j/new_search_subjects?sort=U&range=0,10&tags=%E7%94%B5%E5%BD%B1,%E9%9D%92%E6%98%A5&start=0&genres=%E5%89%A7%E6%83%85&count 阅读全文
posted @ 2019-08-09 20:23 困了就睡觉觉 阅读(615) 评论(0) 推荐(0) 编辑
爬虫小案例——爬取校花网
摘要：爬取校花网图片 爬取校花网视频 阅读全文
posted @ 2019-08-08 19:20 困了就睡觉觉 阅读(443) 评论(0) 推荐(0) 编辑
爬虫基础相关
摘要：一、什么是爬虫 1、爬虫的比喻： 互联网就像一张蜘蛛网，爬虫相当于蜘蛛，数据相当于猎物 2、爬虫的具体定义： 模拟浏览器向后端发送请求，获取数据，解析并且获得我想要的数据，然后存储 3、爬虫的价值： 数据的价值 发送请求（requests）——获取数据——解析数据（bs4，pyquery，re）—— 阅读全文
posted @ 2019-08-06 20:37 困了就睡觉觉 阅读(362) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示