03 2023 档案

雪花算法
摘要：Python 实现雪花算法 雪花算法：雪花算法是一种分布式全局唯一ID，一般不需要过多的深入了解，一般个人项目用不到分布式之类的大型架构，另一方面，则是因为，就算用到市面上很多 ID 生成器帮我们完成了这项工作。 介绍：Twitter 于 2010 年开源了内部团队在用的一款全局唯一 ID 生成算法 阅读全文
posted @ 2023-03-31 17:32 冰柠檬檬 阅读(147) 评论(0) 推荐(0) 编辑
爬取的数据，存到mysql中、爬虫和下载中间件、加代理，cookie，header，加入selenium、去重规则源码分析（布隆过滤器）、scrapy-redis实现分布式爬虫
摘要：# 1 scrapy架构 -爬虫：写的一个个类 -引擎： -调度器：排队，去重 -下载器 -pipline -下载中间件 -爬虫中间件 # 2 命令 -scrapy startproject 项目名 -scrapy gensipder 爬虫名 网址 -scrapy crawl 爬虫名字 -run.p 阅读全文
posted @ 2023-03-22 19:04 冰柠檬檬 阅读(86) 评论(0) 推荐(0) 编辑
scrapy架构介绍、scrapy解析数据、scrapy解析数据、持久化方案、全站爬取cnblogs文章、爬虫和下载中间件、加代理，cookie，header，加入selenium
摘要：# 1 selenium -登录cnblogs，拿到cookie，再打开cnblogs，写入cookie，它就是登录状态 -半自动点赞 》selenium生成的cookie，给requests用 -selenium操作浏览器，速度慢 -requests速度快 -动作链 -自动登录12306 # 2 阅读全文
posted @ 2023-03-21 19:24 冰柠檬檬 阅读(55) 评论(0) 推荐(0) 编辑
selenium 登录cnblogs、抽屉半自动点赞、xpath的使用、selenium 动作链、自动登录12306、打码平台使用、使用打码平台自动登录、使用selenium爬取京东商品信息、scrapy介绍
摘要：#1 beautifulsoup4 使用 -xml解析库，用它来解析爬取回来的html内容，从中找出我们需要的内容 #2 遍历文档树 - . 的使用 soup.html.body.p.a - 获取属性 对象.attrs.get('href') - 获取文本 对象.text string string 阅读全文
posted @ 2023-03-20 14:21 冰柠檬檬 阅读(33) 评论(0) 推荐(0) 编辑
bs4介绍，遍历文档树、bs4搜索文档树、css选择器、selenium基本使用、无界面浏览器、selenium其它用法
摘要：# 1 request 高级用法 -解析josn：发http的请求，返回的数据，可能是xml格式，json格式 request.get().json() -ssl认证 -http和https的区别 -https=http+ssl/tsl -http版本区别 -0.9：底层基于tcp，每次http请求 阅读全文
posted @ 2023-03-17 15:15 冰柠檬檬 阅读(185) 评论(0) 推荐(0) 编辑
requests高级用法、代理池搭建、爬取某视频网站、爬取新闻
摘要：# 面试题 -可变类型不可变类型 - 你常用的魔法方法 》某种情况会自动触发 -__init__ 类() >对象进行初始化 -__new__ 类() >产生对象 》触发__init__完成对象初始化 -__call__ person=Person() >对象加括号 person() 》触发 -__g 阅读全文
posted @ 2023-03-16 15:02 冰柠檬檬 阅读(80) 评论(0) 推荐(0) 编辑
爬虫介绍、requests模块发送get请求、get请求携带参数、携带请求头、携带cookie、发送post请求、响应Response、获取二进制数据、解析json
摘要：# 期终架构 -后台管理： -统计总人数，统计近一个月新增人数 -操作记录 -监控大屏 -修改密码：不能使用之前三次用过的密码 -登录记录ip地址，如果不是常用地址ip，异步发送短信提醒，邮件，钉钉通知 -服务器性能：网卡出入情况，硬盘占用，cup核心数，cup占用率，内存占用率。。。 -前台 -验 阅读全文
posted @ 2023-03-15 16:54 冰柠檬檬 阅读(911) 评论(0) 推荐(0) 编辑
上线前准备、阿里云机器购买、上线架构图、安装git、云服务器安装mysql、云服务器安装redis、云服务器源码安装python、安装uwsgi、安装虚拟环境、安装nginx、路飞前端部署、路飞后端部署、路飞后台样式处理、路飞后台管理样式处理
摘要：# 1 支付功能 -支付宝 -微信支付：官方API # 2 支付流程 -用户在我们的系统点击购买 》我们后端生成订单，订单是未支付状态，生成支付链接 》返回到前端 》打开支付链接页面 》用户扫描支付 》支付完成，支付宝商家账户收到钱 》get回调回调前端 >post回调，回调后端 》通过post回调 阅读全文
posted @ 2023-03-15 16:52 冰柠檬檬 阅读(14) 评论(0) 推荐(0) 编辑
文件存储、搜索导航栏、搜索接口、搜索页面、支付宝支付介绍、支付宝二次封装、订单表设计、下单接口、前端支付页面、支付成功回调接口
摘要：# 1 课程相关数据录入 -simpleui中录入 -使用sql录入，在media下图片copy过去 # 2 课程分类接口 # 3 查询所有课程接口 -带排序：人气，价格 内置排序类 -带过滤：course_category=1 -第三方 -带分页：pagination_class -序列化类： - 阅读全文
posted @ 2023-03-13 18:49 冰柠檬檬 阅读(131) 评论(0) 推荐(0) 编辑
课程表数据录入、课程分类接口、所有课程接口(过滤，排序)、课程详情接口（没有章节和课时的内容）、所有章节接口(按课程过滤)、课程列表前端、课程详情前端
摘要：# 1 celery 执行异步，延迟，定时任务 任务.delay() 任务.apply_async(args=[],eta=时间对象) celery.py 的app的配置信息 app.conf.beat_schedule 启动beat和worker # 2 django中使用celery # 3 秒 阅读全文
posted @ 2023-03-13 18:48 冰柠檬檬 阅读(61) 评论(0) 推荐(0) 编辑
celery 执行异步任务，延迟任务，定时任务、django中使用celery、轮播图接口加缓存、双写一致性、首页轮播图定时更新、课程前端页面、课程功能表分析
摘要：# 1 redis 是什么 》非关系型数据库，数据存在内存中，速度快，5大数据类型，主要用来做缓存 # 2 安装 图形化客户端 # 3 python 操作redis -两种连接方式 -连接池的链接， 池对象是单例的 # 4 字符串，列表，hash 集合 有序集合 # 5 字符串 # 6 hash操作 阅读全文
posted @ 2023-03-09 14:38 冰柠檬檬 阅读(36) 评论(0) 推荐(0) 编辑
redis之列表、redis之hash、redis其他操作、redis 管道、django中使用redis、celery介绍和安装、celery快速使用、celery包结构
摘要：# 1 登录注册前端 -登录 -手机验证码登录 》输入框输入手机号 》监听失去焦点事件 》手机号正则校验(js),查询手机号是否存在 》发送验证码的按钮可以点击 》点击发送验证码按钮 》ajax 发送验证码 》起了个定时任务 》手机收到了验证码，填入验证码框 》点击登录按钮 》向后端发送登录ajax 阅读全文
posted @ 2023-03-08 14:54 冰柠檬檬 阅读(43) 评论(0) 推荐(0) 编辑
登录页面分析、登录页面、注册页面、Redis介绍与安装、Redis普通连接和连接池、Redis之字符串类型
摘要：1 登录页面分析 # 点击登录，弹出登录组件，盖住整个屏幕（定位） # 点击登录组件中的X，关闭登录组件（子传父） 1.1 Login.vue <template> <div class="login"> <span style="padding: 50px" @click="closeLogin" 阅读全文
posted @ 2023-03-07 17:08 冰柠檬檬 阅读(89) 评论(0) 推荐(0) 编辑
腾讯云短信开发、短信验证码接口、短信登录接口、短信注册接口
摘要：1 腾讯云短信开发 # 给手机发送短信 》第三方平台：腾讯云短信 》 # API和SDK，有sdk优先用sdk # sdk： 3.0版本，云操作的sdk，不仅仅有发送短信，还有云功能的其他功能 2.0版本，简单，只有发送短信功能 # 安装sdk -方式一：pip install tencentclo 阅读全文
posted @ 2023-03-06 14:33 冰柠檬檬 阅读(126) 评论(0) 推荐(0) 编辑
为开源项目贡献代码、pycharm使用git、登录注册功能分析、手机号是否存在接口、多方式登录接口、腾讯云短信申请
摘要：1 为开源项目贡献代码 # github,gitee 看到好的开源项目， 发现有bug，为他增加新功能 》你加入了代码 》想合并进开源项目，如何做 # 步骤： 1 先fork开源项目--》复制这个项目到我的仓库中 2 clone下来，改代码，一路提交到远端(我的) 3 提交pr，等作者同意 2 py 阅读全文
posted @ 2023-03-03 14:32 冰柠檬檬 阅读(36) 评论(0) 推荐(0) 编辑
git 多分支、git远程仓库、ssh方式连接远程仓库、协同开发、冲突解决、线上分支合并、远程仓库回滚
摘要：1 git 多分支 # 为什么要有分支 -可以保证，主分支的版本都是可以查看的版本 -我们都在开发分支开发，开发完成，合并到主分支 # 分支操作 -分支查看 git branch -分支创建 git branch 分支名 git branch dev -分支切换 git checkout dev # 阅读全文
posted @ 2023-03-02 19:37 冰柠檬檬 阅读(72) 评论(0) 推荐(0) 编辑
前台主页功能、前台轮播图功能完成、git介绍和安装、git使用流程、git常用命令、git忽略文件
摘要：导出项目依赖 # mac 系统 mysqlclient 装不了，使用pymysql #本地用pymysql，上线 使用 mysqlclient # 本地开发环境的依赖和上线环境依赖不一样 # 每个项目中都会有个requirements.txt 文件，指明了所有依赖和版本 -生成：pip freeze 阅读全文
posted @ 2023-03-01 16:20 冰柠檬檬 阅读(26) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示