08 2022 档案
摘要：RabbitMQ介绍 MQ：消息队列，就是基础数据结构中的先进先出的一种数据结构。像生活中买东西，需要排队，先排的人先买消费，就是典型的先进先出。 Linux安装 # 安装erlang yum -y install erlang # 安装RabbitMQ yum -y install rabbitm
阅读全文
摘要：基于Docker做MySQL主从搭建 主从的作用：写数据数据时使用主库，从库只用来读数据，这样做能够减少数据库压力，主从搭建可以一主一从，也可以是一主多从。 mysql主从配置的流程 如图： 1.master会将变动记录到二进制日志(binlog)里面(主库要开启binlog日志)； 2.maste
阅读全文
摘要：连接MySQL 方法一：pymysql连接 第一步：修改settings.py配置文件中的DATABASES： DATABASES = { 'default': { 'ENGINE': 'django.db.backends.mysql', 'HOST': '127.0.0.1', # mysql的
阅读全文
摘要：爬虫之requests模块 爬虫之BeautifulSoup4 爬虫之selenium 爬虫之Scrapy架构
阅读全文
摘要：redis介绍安装 介绍 redis 是什么 是一个软件(用c语言写的，初级版本代码只有1w多行 7.x，公司 5.x，4.x多) 非关系型(没有外键关联关系)数据库，nosql(not only sql)数据库 数据都放在内存中 key-value形式存储 有5大数据类型：string(字符串)、
阅读全文
摘要：docker入门介绍 虚拟化： 在计算机中，虚拟化（英语：Virtualization）是一种资源管理技术，是将计算机的各种实体资源，如服务器、网络、内存及存储等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原本的组态更好的方式来应用这些资源。这些资源的新虚拟部份是不受现有
阅读全文
摘要：SQLAlchemy介绍 SQLAlchemy是一个基于Python实现的ORM框架。独立的orm框架，可以轻松的集成到任意项目中去。该框架建立在 DB API之上，使用关系对象映射进行数据库操作，简言之便是：将类和对象转换成SQL，然后使用数据API执行SQL并获取执行结果。 组成部分： Engi
阅读全文
摘要：Flask介绍和安装 python web框架 同步框架： Django：大而全(3.x以后支持异步) flask：小而精，插件的支持 异步框架：Sanic、FastAPI flask介绍 Flask是一个基于Python开发并且依赖jinja2模板(DTL)和Werkzeug WSGI(符合wsg
阅读全文
摘要：Scrapy架构介绍 Scrapy是适用于Python的一个快速、高层次的屏幕抓取和web抓取框架，其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可
阅读全文
摘要：selenium介绍 由于requests模块不能执行js，有的页面内容，我们在浏览器中可以看到，但是请求下来没有。 selenium模块：模拟操作浏览器，完成人的行为。 selenium本质是通过驱动浏览器，完全模拟浏览器的操作，比如跳转、输入、点击、下拉等，来拿到网页渲染之后的结果，可支持多种浏
阅读全文
摘要：BeautifulSoup4介绍 使用requests模块爬取网页数据时，获取到的是html(xml)内容，比较复杂，不容易获取到想要的数据。而BeautifulSoup4就是用于对html，xml进行解析（修改）。 安装： pip install beautifulsoup4 基本语法： Beau
阅读全文
摘要：爬虫介绍 爬虫即模拟发送http请求获取数据。所以在学习爬虫时，需要==熟悉http协议==。 爬虫的本质 模拟发送http请求 数据清洗反扒(有一些网站会有反扒手段，需要我们解决) 增加并发量(爬取的数据大时可以增加并发量加速爬取) 入库(保存数据) 爬虫协议 做爬虫要遵循爬虫协议：网站哪些让我们
阅读全文
