摘要:
python基础 django框架 Flask框架 SQLAlchemy使用 爬虫 python实现支付宝支付 python操作redis celery介绍与python使用celery RabbitMQ介绍与python操作RabbitMQ 阅读全文
摘要:
MySQL使用 Redis使用 Python操作Redis 阅读全文
摘要:
前端学习(html、css、js、jQuery) Vue学习 阅读全文
摘要:
git介绍与安装 介绍 git:版本控制器,控制的对象是开发的项目代码。 作用:在多人开发时 帮助开发者合并开发的代码 如果出现冲突代码的合并,会提示后提交合并代码的开发者,让其解决冲突 做版本管理,找回很久以前写的代码 git名词解释 git:是版本管理软件,可以装在不同操作系统平台,主要用来做版 阅读全文
摘要:
RabbitMQ介绍 MQ:消息队列,就是基础数据结构中的先进先出的一种数据结构。像生活中买东西,需要排队,先排的人先买消费,就是典型的先进先出。 Linux安装 # 安装erlang yum -y install erlang # 安装RabbitMQ yum -y install rabbitm 阅读全文
摘要:
基于Docker做MySQL主从搭建 主从的作用:写数据数据时使用主库,从库只用来读数据,这样做能够减少数据库压力,主从搭建可以一主一从,也可以是一主多从。 mysql主从配置的流程 如图: 1.master会将变动记录到二进制日志(binlog)里面(主库要开启binlog日志); 2.maste 阅读全文
摘要:
docker入门介绍 虚拟化: 在计算机中,虚拟化(英语:Virtualization)是一种资源管理技术,是将计算机的各种实体资源,如服务器、网络、内存及存储等,予以抽象、转换后呈现出来,打破实体结构间的不可切割的障碍,使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚拟部份是不受现有 阅读全文
摘要:
SQLAlchemy介绍 SQLAlchemy是一个基于Python实现的ORM框架。独立的orm框架,可以轻松的集成到任意项目中去。该框架建立在 DB API之上,使用关系对象映射进行数据库操作,简言之便是:将类和对象转换成SQL,然后使用数据API执行SQL并获取执行结果。 组成部分: Engi 阅读全文
摘要:
Flask介绍和安装 python web框架 同步框架: Django:大而全(3.x以后支持异步) flask:小而精,插件的支持 异步框架:Sanic、FastAPI flask介绍 Flask是一个基于Python开发并且依赖jinja2模板(DTL)和Werkzeug WSGI(符合wsg 阅读全文
摘要:
Scrapy架构介绍 Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架,其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的,使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛,可用于如数据挖掘、监测和自动化测试等领域,也可 阅读全文
摘要:
selenium介绍 由于requests模块不能执行js,有的页面内容,我们在浏览器中可以看到,但是请求下来没有。 selenium模块:模拟操作浏览器,完成人的行为。 selenium本质是通过驱动浏览器,完全模拟浏览器的操作,比如跳转、输入、点击、下拉等,来拿到网页渲染之后的结果,可支持多种浏 阅读全文
摘要:
BeautifulSoup4介绍 使用requests模块爬取网页数据时,获取到的是html(xml)内容,比较复杂,不容易获取到想要的数据。而BeautifulSoup4就是用于对html,xml进行解析(修改)。 安装: pip install beautifulsoup4 基本语法: Beau 阅读全文
摘要:
爬虫介绍 爬虫即模拟发送http请求获取数据。所以在学习爬虫时,需要==熟悉http协议==。 爬虫的本质 模拟发送http请求 数据清洗反扒(有一些网站会有反扒手段,需要我们解决) 增加并发量(爬取的数据大时可以增加并发量加速爬取) 入库(保存数据) 爬虫协议 做爬虫要遵循爬虫协议:网站哪些让我们 阅读全文
摘要:
服务器购买与远程连接 服务器可以在阿里云控制台首页 (aliyun.com)、登录 - 腾讯云 (tencent.com)购买。 这里我选择购买阿里云的云服务器ECS,购买时按自己需求,==镜像这里选择CentOS 7.9== 购买完成后,会拿到一个公网ip 选择远程连接工具,有很多种,Xshell 阅读全文