随笔分类 - python学习记录
记录自己的python学习经历
摘要：selenium 爬虫与反爬虫之间的斗争 爬虫：对某个网站数据或图片感兴趣，开始抓取网站信息； 网站：请求次数频繁，并且访问ip固定，user_agent也是python，开始限制访问； 爬虫：通过设置user_agent，并添加代理ip请求； 网站：压力过大，不符合常规现象，开始设置登陆访问； 爬
阅读全文
摘要：多进程 使用进程实现多任务 multiprocessing模块就是跨平台的多进程模块提供了有个Process类来代表一个进程对象，这个对象可以理解为一个独立的进程，可以执行另外的事情 进程和线程之间的对比 进程：能够完成多任务，一台电脑可以开多个浏览器 线程：能够完成多任务，一个微信可以同时和多人聊
阅读全文
摘要：线程安全队列 python内置的线程安全队列模块叫queue Python的Queue模块中提供了同步的、线程安全的队列类 FIFO(先进先出) 队列Queue LIFO(后进先出)LifoQueue 可以使用队列来实现线程间的同步 队列的常用方法 | 函数 | 描述 | | | | | qsize
阅读全文
摘要：多线程 程序同时执行多个任务 使用线程可以把占据长时间的程序中的任务放到后台去处理。 程序的运行速度可能加快 线程实现方法 线程是CPU分配资源的基本单位。当一程序开始运行，这个程序就变成了一个进程，而一个进程相当于一个或者多个线程。当没有多线程编程时，一个进程相当于一个主线程；当有多线程编程时，一
阅读全文
摘要：MongoDB 安装MongoDB 官方网站：https://www.mongodb.com/try/download/community-kubernetes-operator2 软件安装 step1:以管理员的身份打开安装包直接点击Next step2：继续点击Next step3：点击自定义安
阅读全文
摘要：MySQL MySQL 是一个关系型数据库管理系统，由瑞典 MySQL AB 公司开发，目前属于 Oracle 公司。MySQL 是一种关联数据库管理系统，关联数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。 安装MySQL 下载地址：https://
阅读全文
摘要：正则表达式 认识正则 正则表达式，又称规则表达式**,**（Regular Expression，在代码中常简写为regex、regexp或RE），是一种文本模式，包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为"元字符"），是计算机科学的一个概念。正则表达式使用单个字符串来描述、匹配一
阅读全文
摘要：bs4解析 下载 -- pip install bs4 示例代码-爱丽丝漫游仙境 html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormou
阅读全文
摘要：xpath语法 XPath 使用路径表达式来选取HTML/ XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。 选取节点 | 表达式 | 描述 | | : : | | | nodename | 选取此节点的所有子节点。 | | / | 从根节点选取（取
阅读全文
摘要：requests 图片下载 post请求 session requests下载图片 下载图片，需获取到图片的url地址和图片名称，通过向图片url发起请求，之后获取.content 注意： .text返回的是Unicode型的数据。 .content返回的是bytes型也就是二进制的数据。 url
阅读全文
摘要：requests python中原生的一款基于网络请求的模块，功能强大，代码简便，效率极高 **作用：**模拟浏览器发送请求，并且接收响应数据 注意：requests是第三方模块，使用时需要下载 pip install requests # 若出现下载超时，换源即可 # 示例 pip install
阅读全文
摘要：HTML HTML基础 HTML属性 HTML表格 HTML列表 HTML区块 表单和输入 HTML基础 HTML的英文全称是 Hyper Text Markup Language，即超文本标记语言 HTML 标题 HTML 标题是通过<h1> - <h6> 标签来定义的。 <h1>这是标题</h1
阅读全文
摘要：爬虫概念 概念 网络爬虫也叫网络蜘蛛，特指一类自动批量下载网络资源的程序，这是一个比较口语化的定义。 更加专业和全面对的定义是：网络爬虫是伪装成客户端与服务端进行数据交互的程序. 作用 数据采集，搜索引擎，模拟操作 分类 通用爬虫：搜索引擎的重要组成成分 聚焦爬虫：建立在通用爬虫的基础上，抓取页面当
阅读全文
摘要：异常处理 当检测到⼀个错误时，解释器就⽆法继续执⾏了，反⽽出现了⼀些错误的提示，这就是所谓的"异常"。 python提供了两个非常重要的功能来处理python程序在运行中出现的异常和错误。你可以使用该功能来调试python程序。 | 异常名称 | 描述 | | | | | AttributeErro
阅读全文
摘要：一闭三器 闭包 装饰器 迭代器 生成器 闭包 闭包的详细介绍 http://t.csdn.cn/UPARs 闭包 结构 内层函数对外层函数的局部变量的使用，内层函数被称为闭包函数 闭指的是：该函数的内部函数 包指的是：内部函数在外部被引用 构成条件 1、函数嵌套 2、外部函数返回内部函数名 3、内部
阅读全文
摘要：⾯向对象基础 类和对象 添加和获取对象属性 魔法⽅法 类和对象 在⾯向对象编程过程中，有两个重要组成部分：类 和 对象。 类和对象的关系：⽤类去创建⼀个对象。 理解类和对象 类 类是对⼀系列具有相同特征和⾏为的事物的统称，是⼀个抽象的概念，不是真实存在的事物 特征即是属性 ⾏为即是⽅法 类好比是制造
阅读全文
摘要：文件操作 文件操作的作用 ⽂件操作包含：打开、关闭、读、写、复制...... ⽂件操作的的作⽤是：读取内容、写⼊内容、备份内容...... 文件操作的基本步骤 打开⽂件 读写等操作 关闭⽂件 打开 在python，使⽤open函数，可以打开⼀个已经存在的⽂件，或者创建⼀个新⽂件，语法如下： open
阅读全文
摘要：函数 函数是组织好的，可重复使用的，用来实现单一，或相关联功能的代码段。 函数能提高应用的模块性，和代码的重复利用率。Python提供了许多内建函数，比如print()。也可以自己创建函数，叫做用户自定义函数。 函数的使⽤步骤 定义一个函数 函数代码块以 def 关键词开头，后接函数标识符名称和圆括
阅读全文
摘要：一：公共操作 运算符 公共⽅法 容器类型转换 运算符 | 运算符 | 描述 | 支持的容器类型 | | | | | | + | 合并 | 字符串，列表，元组 | | * | 复制 | 字符串，列表，元组 | | in | 是否存在 | 字符串，列表，元组，字典，集合 | | not in | 是否不
阅读全文
摘要：序列 序列类型的基本操作 列表 有序，长度可变，元素可为多种数据类型。 是可变数据类型 创建列表 列表的常⽤操作 列表的作⽤是⼀次性存储多个数据，程序员可以对这些数据进⾏的操作有：增、删、改、查。 查找 根据下标查找 name_list = ['张三', '李四', '王五','赵六'] print
阅读全文
