上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 20 下一页
摘要: Scrapy 和 scrapy-redis的区别 Scrapy 是一个通用的爬虫框架,但是不支持分布式,Scrapy-redis是为... 阅读全文
posted @ 2018-07-15 22:15 轻松学编程 阅读(155) 评论(0) 推荐(0) 编辑
摘要: python获取IP、主机名、mac地址 关注公众号“轻松学编程”了解更多。 制作get_IP.py文件: import socke... 阅读全文
posted @ 2018-07-15 12:35 轻松学编程 阅读(193) 评论(0) 推荐(0) 编辑
摘要: scrapy模拟登录 注意:模拟登陆时,必须保证settings.py里的COOKIES_ENABLED(Cookies中间件) 处... 阅读全文
posted @ 2018-07-14 16:52 轻松学编程 阅读(69) 评论(0) 推荐(0) 编辑
摘要: 反反爬虫相关机制 Some websites implement certain measures to prevent bots ... 阅读全文
posted @ 2018-07-13 20:15 轻松学编程 阅读(76) 评论(0) 推荐(0) 编辑
摘要: Scrapy 框架 关注公众号“轻松学编程”了解更多。 一、简介 Scrapy是用纯Python实现一个为了爬取网站数据、提取结构性... 阅读全文
posted @ 2018-07-13 17:37 轻松学编程 阅读(183) 评论(0) 推荐(0) 编辑
摘要: 一、使用matplotlib画图 关注公众号“轻松学编程”了解更多。 使用matplotlib画柱形图 import matplot... 阅读全文
posted @ 2018-07-12 18:45 轻松学编程 阅读(211) 评论(0) 推荐(0) 编辑
摘要: 详情点我跳转 关注公众号“轻松学编程”了解更多。 一、为什么要使用线程池? 对于任务数量不断增加的程序,每有一个任务就生成一个线程,... 阅读全文
posted @ 2018-07-09 19:05 轻松学编程 阅读(145) 评论(0) 推荐(0) 编辑
摘要: 详情点我跳转 关注公众号“轻松学编程”了解更多。 一、多线程抓取网页 流程:a.设置种子url b.获取区域列表 c.循环区域列表 ... 阅读全文
posted @ 2018-07-08 20:02 轻松学编程 阅读(139) 评论(0) 推荐(0) 编辑
摘要: 详情点我跳转 关注公众号“轻松学编程”了解更多。 1、协程 协程,又称微线程,纤程。英文名Coroutine。 协程是啥 ?? 首先... 阅读全文
posted @ 2018-07-08 16:22 轻松学编程 阅读(244) 评论(0) 推荐(0) 编辑
摘要: 详情点我跳转 关注公众号“轻松学编程”了解更多。 1、进程 1、进程的概念 什么是进程—>CPU在同一时刻只能处理一个任务,只是因为... 阅读全文
posted @ 2018-07-08 15:55 轻松学编程 阅读(64) 评论(0) 推荐(0) 编辑
上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 20 下一页