摘要: scrapy框架基于selenium,多页面爬取简书文章内容、作者,ajax技术传递的数据等 保存到MongoDB中 class JieshuxSpider(CrawlSpider): name = 'jieshux' allowed_domains = ['jianshu.com'] start_ 阅读全文
posted @ 2019-07-12 17:24 爱学习的红领巾 阅读(147) 评论(0) 推荐(0) 编辑
摘要: 以宝马5系列为例CrawlSpider爬取汽车之家汽车各方面高清图片 扩展ImagesPipeline,实现文件格式的自定义保存 from baomax5.items import Baomax5Item from scrapy.spiders import CrawlSpider, Rule fr 阅读全文
posted @ 2019-07-11 18:40 爱学习的红领巾 阅读(142) 评论(0) 推荐(0) 编辑
摘要: CrawlSpider微信小程序社区教程贴爬取 from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule from wxapp.items import WxappItem 阅读全文
posted @ 2019-07-09 21:06 爱学习的红领巾 阅读(156) 评论(0) 推荐(0) 编辑
摘要: 目录 1.项目1 2.项目2 3.项目3 4.项目4 阅读全文
posted @ 2019-07-09 19:56 爱学习的红领巾 阅读(127) 评论(0) 推荐(0) 编辑
摘要: scrapy 爬取糗事百科段子 保存为json类型文件 import scrapy from qiushibaike.items import QiushibaikeItem class QiushibaikespiderSpider(scrapy.Spider): name = 'qiushiba 阅读全文
posted @ 2019-07-09 19:52 爱学习的红领巾 阅读(214) 评论(0) 推荐(0) 编辑
摘要: 1.多线程、多进程、多协程 进程:一个运行的程序,进程是系统调度和分配的最小单位,拥有自己独立的空间内存,进程之间不共享资源。 线程:调度执行的最小单位,依赖于进程,一个进程至少有一个线程,并且同一个进程内的线程之间共享资源,大大提升了程序运行速度,切换由系统调度。 协程:一种用户态的轻量级线程,切 阅读全文
posted @ 2019-07-07 18:00 爱学习的红领巾 阅读(2832) 评论(0) 推荐(1) 编辑
摘要: 一、读取图像数据 1. 使用PIL读取图像 Python Imaging Library中包含很多库,常用的是其中的Image,通过使用其中的open方法来读取图像,用法如下: 其中关键的方法是open,其中的参数包括两个: file:文件对象名称,可以是文件名,也可以是图像文件字符串。 mode: 阅读全文
posted @ 2019-06-28 09:50 爱学习的红领巾 阅读(392) 评论(0) 推荐(0) 编辑
摘要: 一.线程 Threading用于提供线程相关的操作,线程是应用程序中工作的最小单元。 import threading import time class MyThread(threading.Thread): def __init__(self,num): threading.Thread.__i 阅读全文
posted @ 2019-06-17 09:35 爱学习的红领巾 阅读(116) 评论(0) 推荐(0) 编辑
摘要: 1.docker help $ sudo docker # docker 命令帮助 Commands: attach Attach to a running container # 当前 shell 下 attach 连接指定运行镜像 build Build an image from a Dock 阅读全文
posted @ 2019-06-10 15:21 爱学习的红领巾 阅读(195) 评论(0) 推荐(0) 编辑
摘要: 一、Flask介绍 Flask是当下流行的Web框架,它是用Python实现的其 WSGI 工具箱采用 Werkzeug ,模板引擎则使用 Jinja2 。Flask使用 BSD 授权。。Flask显著的特点是:它是一个“微”框架。”微”意味着Flask旨在保持核心的简单,但同时又易于扩展。默认情况 阅读全文
posted @ 2019-06-03 15:27 爱学习的红领巾 阅读(731) 评论(0) 推荐(0) 编辑