2023 年 3月随笔档案 - DYuH

0 爬取的数据，存到mysql中、1 爬虫和下载中间件、 2 加代理，cookie，header，加入selenium、3 去重规则源码分析（布隆过滤器）、4 scrapy-redis实现分布式爬虫

摘要：0 爬取的数据，存到mysql中 # 存到mysql中 class FirstscrapyMySqlPipeline: def open_spider(self, spider): print('我开了') self.conn = pymysql.connect( user='root', pass 阅读全文

posted @ 2023-03-22 16:30 DYuH 阅读(17) 评论(0) 推荐(0) 编辑

0 scrapy架构介绍、1 scrapy解析数据、2 settings相关配置，提高爬取效率、3 持久化方案、 4 全站爬取cnblogs文章

摘要：0 scrapy架构介绍 # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同阅读全文

posted @ 2023-03-21 14:52 DYuH 阅读(15) 评论(0) 推荐(0) 编辑

0 selenium 、登录cnblogs、 1 抽屉半自动点赞、2 xpath的使用、 3 selenium 动作链、4 自动登录12306、 5 打码平台使用、6 使用打码平台自动登录、7 使用selenium爬取京东商品信息、8 scrapy介绍

摘要：0 selenium 登录cnblogs from selenium import webdriver from selenium.webdriver.common.by import By import time import json bro = webdriver.Chrome(executa 阅读全文

posted @ 2023-03-20 14:58 DYuH 阅读(24) 评论(0) 推荐(0) 编辑

0 bs4介绍，遍历文档树、1 bs4搜索文档树、2 css选择器、3 selenium基本使用、4 无界面浏览器、5 selenium其它用法

摘要：0 bs4介绍，遍历文档树 # beautifulsoup4 从HTML或XML文件中提取数据的Python库 # 用它来解析爬取回来的xml # 安装：pip install beautifulsoup4 pip install lxml #解析库 # soup=BeautifulSoup('要解阅读全文

posted @ 2023-03-17 15:21 DYuH 阅读(20) 评论(0) 推荐(0) 编辑

1 requests高级用法、2 代理池搭建、3 爬取某视频网站、4 爬取新闻

摘要：1 requests高级用法 1.0 解析json # 发送http请求，返回的数据会有xml格式，也有json格式 import requests data = { 'cname': '', 'pid': '', 'keyword': '500', 'pageIndex': 1, 'pageSiz 阅读全文

posted @ 2023-03-16 15:44 DYuH 阅读(29) 评论(0) 推荐(0) 编辑

1 爬虫介绍、 2 request模块介绍、 3 request发送get请求、4 request携带参数、5 url编码解码、 6 携带请求头、7 发送post请求,携带数据、 8 自动登录，携带cookie的两种方式、 9 requests.session的使用、10 补充post请求携带数据编码格式、11 响应Response对象、12 编码问题、13 下载图片，视频

摘要：1 爬虫介绍 # 爬虫是什么 -爬虫就是程序》从互联网中，各个网站上，爬取数据[你能浏览的页面才能爬]，做数据清洗，入库 # 爬虫的本质 -模拟方式http请求，获取数据》入库 -网站 -app：抓包 # 补充：百度其实就是一个大爬虫 -百度爬虫一刻不停的在互联网中爬取各个页面》爬取完后》保阅读全文

posted @ 2023-03-16 15:42 DYuH 阅读(34) 评论(0) 推荐(0) 编辑

1 上线架构图、2 阿里云购买、3 云服务器安装mysql、4 云服务器安装redis(源码安装) 、5 云服务器安装python3.8（源码安装）、 6 安装uwsgi 、7 安装虚拟环境、8 安装nginx(源码安装) 、9 路飞前端部署、10 路飞后端部署、11 路飞后台管理样式处理

摘要：1 上线架构图 # 服务器，公网ip地址 -云服务器：阿里云，腾讯云 # 上线架构图 2 阿里云购买 # 购买阿里云服务器 -阿里云官网，点选购买 # ssh客户端 -xshell -finalshell：http://www.hostbuf.com/t/988.html -Bash命令 # 配置一阅读全文

posted @ 2023-03-16 15:40 DYuH 阅读(17) 评论(0) 推荐(0) 编辑

1 文件存储、2 搜索导航栏、3 搜索接口、4 搜索页面、5 支付宝支付介绍、6 支付宝二次封装、7 订单表设计、8 下单接口、9 前端支付页面、10 支付成功回调接口

摘要：1 文件存储 # 视频文件，存储到某个位置，如果放在自己服务器上 -放在项目的media文件夹 -服务器上线后，用户既要访问接口，又要看视频，都是一个域名和端口 -分开：文件单独放在文件服务器上，文件服务器带宽很高 # 文件服务器：专门存储文件的服务器 -第三方： -阿里云：对象存储 oss -腾讯阅读全文

posted @ 2023-03-13 17:15 DYuH 阅读(88) 评论(0) 推荐(0) 编辑

1 课程表数据录入、2 课程分类接口、3 所有课程接口(过滤，排序)、4 课程详情接口（没有章节和课时的内容）、5 所有章节接口(按课程过滤)、6 课程列表前端、7 课程详情前端

摘要：1 课程表数据录入 -- 老师表 INSERT INTO luffy_teacher(id, orders, is_show, is_delete, created_time, updated_time, name, role, title, signature, image, brief) VAL 阅读全文

posted @ 2023-03-12 12:32 DYuH 阅读(47) 评论(0) 推荐(0) 编辑

1 celery 执行异步任务，延迟任务，定时任务、2 django中使用celery、3 轮播图接口加缓存、4 双写一致性、 5 首页轮播图定时更新、6 课程前端页面、7 课程功能表分析

摘要：1 celery 执行异步任务，延迟任务，定时任务 #1 异步任务任务.delay(参数) # 延迟任务任务.apply_async(args=[参数],eta=时间对象) # 如果没有修改时区，需要使用utc事件 # 定时任务 -需要启动beat和启动worker -beat 定时提交任务的进阅读全文

posted @ 2023-03-09 15:27 DYuH 阅读(52) 评论(0) 推荐(0) 编辑

1 redis之列表、2 redis之hash 、3 redis其他操作、 4 redis 管道、 5 django中使用redis 、6 celery介绍和安装、7 celery快速使用、8 celery包结构

摘要：1 redis之列表 ''' 1 lpush(name, values) 2 rpush(name, values) 表示从右向左操作 3 lpushx(name, value) 4 rpushx(name, value) 表示从右向左操作 5 llen(name) 6 linsert(name, 阅读全文

posted @ 2023-03-08 14:56 DYuH 阅读(28) 评论(0) 推荐(0) 编辑

1 登录页面分析 2 登录页面 3 注册页面 4 Redis介绍与安装 5 Redis普通连接和连接池 6 Redis之字符串类型

摘要：1 登录页面分析 # 点击登录，弹出登录组件，盖住整个屏幕（定位） # 点击登录组件中的X，关闭登录组件（子传父） 1.1 Login.vue <template> <div class="login"> <span style="padding: 50px" @click="closeLogin" 阅读全文

posted @ 2023-03-07 16:31 DYuH 阅读(25) 评论(0) 推荐(0) 编辑

1 腾讯云短信开发 2 短信验证码接口 3 短信登录接口 4 短信注册接口

摘要：1 腾讯云短信开发 # 给手机发送短信》第三方平台：腾讯云短信》 # API和SDK，有sdk优先用sdk # sdk： 3.0版本，云操作的sdk，不仅仅有发送短信，还有云功能的其他功能 2.0版本，简单，只有发送短信功能 # 安装sdk -方式一：pip install tencentclo 阅读全文

posted @ 2023-03-06 14:49 DYuH 阅读(58) 评论(0) 推荐(0) 编辑

1 为开源项目贡献代码、2 pycharm使用git、3 登录注册功能分析、 4 手机号是否存在接口、5 多方式登录接口、6 腾讯云短信申请

摘要：1 为开源项目贡献代码 # github,gitee 看到好的开源项目，发现有bug，为他增加新功能》你加入了代码》想合并进开源项目，如何做 # 步骤： 1 先fork开源项目--》复制这个项目到我的仓库中 2 clone下来，改代码，一路提交到远端(我的) 3 提交pr，等作者同意 2 py 阅读全文

posted @ 2023-03-03 15:58 DYuH 阅读(11) 评论(0) 推荐(0) 编辑

1 git 多分支、2 git远程仓库、 3 ssh方式连接远程仓库、4 协同开发、5 冲突解决、 6 线上分支合并、7 远程仓库回滚

摘要：1 git 多分支 # 为什么要有分支 -可以保证，主分支的版本都是可以查看的版本 -我们都在开发分支开发，开发完成，合并到主分支 # 分支操作 -分支查看 git branch -分支创建 git branch 分支名 git branch dev -分支切换 git checkout dev # 阅读全文

posted @ 2023-03-02 15:08 DYuH 阅读(24) 评论(0) 推荐(0) 编辑

导出项目依赖、学长问题、1 前台主页功能、2 前台轮播图功能完成、3 git介绍和安装、4 git使用流程、5 git常用命令、 6 git忽略文件

摘要：导出项目依赖 # mac 系统 mysqlclient 装不了，使用pymysql #本地用pymysql，上线使用 mysqlclient # 本地开发环境的依赖和上线环境依赖不一样 # 每个项目中都会有个requirements.txt 文件，指明了所有依赖和版本 -生成：pip freeze 阅读全文

posted @ 2023-03-01 15:19 DYuH 阅读(29) 评论(0) 推荐(0) 编辑

8564129qwe

03 2023 档案

公告

搜索

常用链接

随笔档案

阅读排行榜