wzc6

摘要： #read.pyimport scrapyfrom readbook.items import ReadbookItemfrom scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import CrawlSpider, Rul 阅读全文

摘要： #尚硅谷当当网爬取#dangpy.pyimport scrapyfrom scrapy_dangdang.items import ScrapyDangdangItemclass DangpySpider(scrapy.Spider): name = 'dangpy' #如果多页下载，要调整允许域名 阅读全文

摘要： https://www.bilibili.com/video/BV1Yh411o7Sz?p=60&spm_id_from=pageDriver#scrapy框架'''什么是框架？ 集成了很多功能并且具有很强通用性的一个项目模板如何学习框架？ 专门学习框架封装的各种功能的详细用法什么是scrapy？ 阅读全文

摘要： #能不能让我的程序连接到浏览器，让浏览器完成各种复杂操作，我们只接受最终结果，不然人家一加密，你人傻了#selenium:自动化测试工具#可以打开浏览器，像人一样操纵浏览器#我们可以从selenum中直接提取网页中的各种信息#环境搭建：pip install selenium -i 清华源# 下载浏 阅读全文

摘要： 原地址：https://pythonav.com/wiki/detail/6/91/ 视频：https://www.bilibili.com/video/BV1dD4y127bD?p=7 import asyncioasync def func(): print(1) await asyncio.s 阅读全文

摘要： import timedef func(): print('i love dawn') time.sleep(3)#让当前线程处于阻塞状态，cpu暂时不为此工作 print('i love dawn true')if __name__ == '__main__': func()# input(）程序 阅读全文

摘要： #多线程，多进程#进程：资源单位，线程：执行单位，每一个进程至少要有一个线程#启动一个程序默认都会有一个主线程#多线程#第一套写法'''from threading import Threaddef func(): for i in range(1000): print('func',i)t=Thr 阅读全文

摘要： #登录得到cookie#带着cookie去请求到书架，得到书架上的内容#把上面两个操作连起来#使用session进行请求，session可以认为是一连串的请求，在此过程中cookie不会丢失,cookie相当于一种信物，让网站知道你是谁，而requests是一次性的，会丢失cookieimport 阅读全文

摘要： ''''#xpath是在xml文档中搜索内容的一门语言#xml是html的母集#安装lxml模块 pip install lxml -ixpath解析 '''from lxml import etreexml='''...'''#tree=etree.parse()#加载一个文件tree=etree 阅读全文

摘要： '''bs4进行数据解析数据解析的原理：-1.标签定位- 2.提取标签、标签属性中存储的数据值bs4数据解析的原理：- 1.实例化一个BeautifuLSoup对象，并且将页面源码数据加载到该对象中- 2.通过调用BeautifuLSoup对象中相关的属性或者方法进行标签定位和数据-环境安装： pi 阅读全文