摘要：
1.scrapy 架构介绍 Scrapy一个开源和协作的框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 阅读全文
摘要：
1. xpath的使用 1. html中选择标签，可以使用的通用方式 css 选择 xpath 选择 Xpath 即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言 2. 语法的简单介绍 nodename 选取此节点的所有子节点 / 从根节点选取 阅读全文
摘要：
1. bs4搜索文档树 from bs4 import BeautifulSoup html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p id="my p" class="title">asdf 阅读全文
摘要：
1. 测试频率 # 登录后的cookie，起100个线程，每个线程里死循环去点赞 import requests from threading import Thread def task(): while True: data = { 'linkId': '36996038' } header = 阅读全文
摘要：
1. 爬虫介绍 1. 爬虫：spider，网络蜘蛛 2. 本质原理： 现在所有的软件原理：大部分都是基于http请求发送和获取数据的 pc端的网页 移动端app 模拟发送http请求，从别人的服务端获取数据 绕过反扒：不同程序反扒措施不一样，比较复杂 3. 爬虫原理 发送http请求【request 阅读全文
摘要：
1. 支付宝支付介绍 1.1 了解 1. 项目中需要有在线支付功能 支付宝支付 微信支付：需要备案域名 云闪付 2. 以支付宝支付为例 支付流程 API，sdk sdk:第三方sdk，基于API封装的 官方sdk：https://opendocs.alipay.com/open/02no41 3. 阅读全文
摘要：
1. 支付宝支付介绍 1.1 了解 1. 项目中需要有在线支付功能 支付宝支付 微信支付：需要备案域名 云闪付 2. 以支付宝支付为例 支付流程 API，sdk sdk:第三方sdk，基于API封装的 官方sdk：https://opendocs.alipay.com/open/02no41 3. 阅读全文
摘要：
1. 课程详情页接口 课程章节接口，带按课程id号过滤的功能 http://127.0.0.1:8000/api/v1/course/chapter/?course=1 views.py # 查询所有章节，按课程过率 class CourseChapterView(GenericViewSet,Co 阅读全文
摘要：
1. 补充 celery 1. 一台机器上运行celery的worker 在多台机器上celery的worker worker可以运行在多台机器上，但是必须把项目代码完成copy过去 2. 公司只是想做定时任务，celery比较大，比较麻烦，一般公司会使用 pip install apschedul 阅读全文
摘要：
1. celery 快速使用 1. Celery 官网：http://www.celeryproject.org/ 2. Celery 官方文档英文版：http://docs.celeryproject.org/en/latest/index.html 3. Celery 官方文档中文版：http: 阅读全文