11 2019 档案
摘要:4个特性 原子性:一个事务中的所有操作,要么全部完成,要么全部不完成,不会结束在中间某个环节。事务在执行过程中发生错误,会被回滚(rollback)到事务开始前的状态 一致性:在事务开始前和事务结束以后,数据库的完整性没有被破坏。例如A和B之间的转账,不论转多少次,转多少,两个人的总金额是不会变的
阅读全文
摘要:# 回文单词是从左到右和从右到左读相同的单词。 # 例如:“detartrated”和“evitative”是回文 str_in = input('Input:') # 方法一 count = 0 for i in range(len(str_in)): if str_in[i] == str_in
阅读全文
摘要:Python连接MySql 步骤 开始 创建connection 获取cursor 操作过程 SQL语句 执行查询 执行命令 获取数据 处理数据 关闭游标:cursor.close() 关闭连接:connection.close() 结束 注意 在pymysql中执行的SQL语句不需要加 ; exe
阅读全文
摘要:Upload changed files automatically to the default server 选择了 Always 下面有一个提示 Default server or group of servers is not configured. Nothing would be upl
阅读全文
摘要:现有列表a, a中元素是如[x,y]格式的数组,代表一段数字区间, 如[1,3]表示从1到3之间的任何数字 判断给定的新数字区间new_element(例如: [10, 25])能不能添加到列表a中,返回True or False 要求任何被添加进入列表a的新数字区间,必须满足以下条件: 新插入的数
阅读全文
摘要:MongoDB简介 基于分布式文件存储的开源数据库系统 将数据存储为一个文档,文档类似于Json格式 MongoDB进入与退出 进入:mongo 退出:exit 库级操作 显示所有库: show dbs 切换/创建数据库: use 数据库名称 查看所在库: db 删除库:db.dropDatabas
阅读全文
摘要:按住ALT,用鼠标在需要的位置点击添加光标,然后输入内容即可
阅读全文
摘要:方法和 PyCharm重命名文件时更改引用的地方 相同
阅读全文
摘要:有序化 以小说章节目录的数字为文件名,一章一个文件(但上千章就得有上千个文件) 在每次获取小说章节里的内容时,给item添加新的标识,添加对应的章节的数字,全部存入数据库,然后根据这个数字标识排序取出数据即可(没打印小说内容的字段) 去空行 利用splitlines()和strip() str.sp
阅读全文
摘要:视图是一个虚拟表,内容由创建时的查询语句定义 创建视图 create view view_name as 查询语句(select ... from ... where ... ) 删除视图 drop view view_name 视图的作用 对于需要经常获取的数据,创建对应视图,直接 select
阅读全文
摘要:Hangman--游戏简介--> 百度百科 打印Hangman def printHangman(N): # 第一行 print("\t____") # 第二行 print("\t| |") # 第三行 print("\t| ", end="") if N > 0: # 第三行 第一笔 print(
阅读全文
摘要:下载 百度贴吧-动漫壁纸吧 所有图片 定义item Spider spider 只需要得到图片的url,必须以列表的形式给管道处理 class PictureSpiderSpider(scrapy.Spider): name = 'picture_spider' allowed_domains =
阅读全文
摘要:使用scrapy的下载模块需要PIL(python图像处理模块)的支持,使用pip安装即可
阅读全文
摘要:简介 Redis是由意大利人开发的一款内存高速缓存数据库,是一个高性能的键值对(key- value)存储数据库 Redis全称为: Remote Dictionary Server(远程数据服务),使用C语言编写,并以内存作为数据存储介质,所以读写数据的效率极高 特性 Redis支持数据的持久化,
阅读全文
摘要:NoSQL指的是非关系型数据库,是对不同于传统的关系型数据库的数据库管理系统的统称,NoSQL是web2.0时代海量数据催生的产物 特点 不支持SQL语法 NoSQL的世界中没有一种通用的语言,每种nosql数据库都有自己的语法,以及擅长的业务场景 读写性能高 NoSQL数据库都具有非常高的读写性能
阅读全文
摘要:###利用sorted(iterable[, key][, reverse]) key:指定一个接收一个参数的函数,这个函数用于从每个元素中提取一个用于比较的关键字,默认值为None(直接比较元素) reverse:排序规则,reverse = True 降序 , reverse = False 升
阅读全文
摘要:表结构修改(alter) 查看表的结构:desc 表名; 修改表名:alter table 表名 rename to 新表名; 修改字段名:alter table 表名 change 旧字段名 新字段名 数据类型; 修改字段类型:alter table 表名 modify 字段名 数据类型; 添加字
阅读全文
摘要:筛选条件 比较运算符 等于: = ( 注意!不是 == ) 不等于: != 或 <> 大于: > 大于等于: >= 小于: < 小于等于: ⇐ IS NULL IS NOT NULL 逻辑运算符 与:and 或:or 非:not 其它操作 排序:order by 正序:asc 倒序:desc 例:s
阅读全文
摘要:"#":标题,一个代表1级标题,6个代表6级标题 首尾用一个 * 或者 一个下划线包围的内容为斜体 *内容* _内容_ 首尾用两个 * 或者 两个下划线包围的内容为粗体 **内容** __内容__ 首尾用三个 * 或者 三个下划线包围的内容为粗体斜体 ***内容*** ___内容___ 无序列表使用
阅读全文
摘要:数据库分类 关系型数据库(SQL):存储方式固定,安全 非关系型数据库(NoSQL):存储方式比较灵活,存储数据的效率比较高,不太安全 MySQL是一种关系型数据库管理系统(采用关系模型来组织管理数据的数据库系统) 注意事项 大小写:不严格区分,默认大写为程序代码,小写为程序员写的代码 语句结束符:
阅读全文
摘要:1、端口转发 在虚拟机设置各个数据库对应的端口转发 2、修改数据库配置文件 默认只有本机的IP才可以访问,其它IP就连不上了,修改bind ip 为0.0.0.0 3、重启服务(或者直接重启虚拟机) service mongodb restart
阅读全文
摘要:简介 scrapy_redis是一个基于Redis的Scrapy组件,用于scrapy项目的分布式部署和开发 你可以启动多个spider对象,互相之间共享有一个redis的request队列,最适合多个域名的广泛内容的爬取 特点 分布式爬取 分布式数据处理 爬取到的item数据被推送到redis中,
阅读全文
摘要:pip install pyinstaller 然后就在终端里执行命令 cd 到目标文件的目录下 执行 pyinstaller -F ***.py 即可生成exe
阅读全文
摘要:设备 --> 安装增强功能 等待安装完成,就能自动适应屏幕大小了
阅读全文
摘要:首先pip安装selenium,然后下载浏览器驱动 WebDrive下载地址 chrome的webdriver:http://chromedriver.storage.googleapis.com/index.html Firefox Firefox驱动下载地址为:https://github.co
阅读全文
摘要:下载中间件 简介 下载器,无法执行js代码,本身不支持代理 下载中间件用来hooks进Scrapy的request/response处理过程的框架,一个轻量级的底层系统,用来全局修改scrapy的request和response scrapy框架中的下载中间件,是实现了特殊方法的类,scrapy系统
阅读全文
摘要:刚下载的markdown弹窗提示html渲染错误 去官网 http://markdownpad.com/faq.html#livepreview-directx 页面搜索 This view has crashed 下载安装Awesomium 1.6.6 SDK即可解决 下载链接:http://ma
阅读全文
摘要:正常情况下,选中一段内容,再按引号,内容会被替换为引号 想要将选中的内容不被替换为引号,而在内容的两端加上引号,只需设置一下即可 File --> Settings --> Editor --> General --> Smart Keys 勾选 Surround selection on typi
阅读全文
摘要:Scrapy.http.Request 自动去重,根据url的哈希值,进行去重 属性 meta(dict) 在不同的请求之间传递数据,dict priority(int) 此请求的优先级(默认为0) dont_filter(boolean) 关闭自动去重 errback(callable) 在处理请
阅读全文
摘要:1、按Ctrl + Shift + A 弹出搜索框 2、在弹出的搜索框内输入registry(如果汉化了输入“注册”),回车 3、在弹出的窗口中,往下找到“ide.suppress.double.click.handler”,勾上后面的框,最后点击Close,现在按两次Shift就不会再弹出来了 如
阅读全文
摘要:选好模板直接应用就可以了 https://b.cnblogs.com/skins.aspx
阅读全文
摘要:Scrapy shell 用来调试Scrapy 项目代码的 命令行工具,启动的时候预定义了Scrapy的一些对象 设置 shell Scrapy 的shell是基于运行环境中的python 解释器shell 本质上就是通过命令调用shell,并在启动的时候预定义需要使用的对象 scrapy允许通过在
阅读全文
摘要:模块安装 Windows 安装scrapy 需要安装依赖环境twisted,twisted又需要安装C++的依赖环境 pip install scrapy 时 如果出现twisted错误 在https://www.lfd.uci.edu/~gohlke/pythonlibs/ 下载对应的Twiste
阅读全文
摘要:查了下π的计算公式 分母都是奇数,第奇数个相加,第偶数个相减 计算次数越多越接近
阅读全文
摘要:pip默认是从Python官网下载第三方库,从国外下载当然不如从国内下载来得快 豆瓣:https://pypi.doubanio.com/simple 还有其它源,阿里云等等,一个就够用了 用pip安装库时,在后面加上 -i 表示换源,然后输入地址就可以了 pip install *** -i ht
阅读全文
摘要:bs4 BeautifulSoup 是一个可以从HTML或XML文件中提取数据的Python库,它的使用方式相对于正则来说更加的简单方便 中文文档:https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0 Tag name:每一个tag对象都有name属性,
阅读全文
摘要:1 import requests 2 import time 3 import json 4 import threading 5 # 采集https://careers.tencent.com/search.html 网站的招聘信息 6 7 # 时间戳 8 timestamp = '%d' %
阅读全文
摘要:HTTP代理 http代理,就是代理客户机的http访问,主要代理浏览器访问页面 代理服务器是介于浏览器和web服务器之间的一台服务器,有了它之后,浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求, Request信号会先送到代理服务器,由代理服务器来取回浏览器所需要的信息并传送给你的
阅读全文
摘要:百度贴吧、爬取帖子的标题、发布时间和链接 1 import threading 2 import requests 3 import re 4 import os 5 6 # 百度贴吧 爬取帖子的标题、发布时间和链接 7 8 # 要搜索的贴吧名称 9 word = '文字控吧' 10 # 设置爬取页
阅读全文
摘要:发起请求 接收响应 session对象 发起请求 请求方法 get、post、head、options、delete、put 传递URL参数 构造一个字典,并在请求时将其传递给params参数 提交数据时,遇到相同的参数名,但有不同的值,而python的字典又不支持键的重名,可以把键的值用列表表示
阅读全文
摘要:并发:多个任务同一时间段进行 并行:多个任务同一时刻进行 线程的实现 线程模块 Python通过两个标准库_thread 和threading,提供对线程的支持 , threading对_thread进行了封装 因此在实际的使用中我们一般都是使用threading threading模块中提供了Th
阅读全文
摘要:Datetime模块 datetime是python处理时间和日期的标准库 类名 date类 日期对象,常用的属性有 year 、 month 、 day time类 时间对象hour、 minute、 second、毫秒 datetime类 日期时间对象,常用的属性有 hour 、minute 、
阅读全文
摘要:Ctrl + Shift + P打开命令行 输入 install ,先安装 Package Control 安装成功会提示你 现在你可以使用命令面板并键入“install package”开始 然后输入UTF8,找到并安装 ConvertToUTF8 插件 然后左下角会提示你正在安装 静等一会儿就好
阅读全文
摘要:SyntaxError: Non-UTF-8 code starting with '..... 方法一:在文件首行加上 # -*- coding:utf-8 -*- 或者 # coding:utf-8 方法二:更改编码格式 File --> Settings --> Editor --> File
阅读全文
摘要:json模块 简介 全称"JavaScript Object Notation" (JavaScript对象表示法)它是一种基于文本,独立于语言的轻量级数据交换格式 以易于让人阅读的文字为基础,用来传输由属性值或者序列性的值组成的数据对象(键值对) 特点 轻量级的文本数据交换格式 易于人类阅读和编写
阅读全文
摘要:Python文件可以直接运行,也可以 import 到其它文件中使用 if __name__ == '__main__' 就是控制代码在这两种情况下的执行过程 每个Python模块都包含内置变量,直接运行的时候,name 等于 main ,代表自身 __name__,当模块被调用执行的时候,name
阅读全文
摘要:urllib下载图片 urllib3下载图片 Urllib下载图片 1 from urllib import request 2 import re 3 import os 4 5 # 妹子图首页 下载首页的几张 6 url = 'https://www.mzitu.com' 7 # Request
阅读全文
摘要:下载库fake_useragent 然后就可以随心所欲的使用不同UA了
阅读全文
摘要:urllib库 urllib3库 爬虫一般流程 urllib urllib 是一个用来处理网络请求的python标准库,它包含4个模块 urllib.request 请求模块,用于发起网络请求 request模块主要负责构造和发起网络请求,并在其中添加Headers,Proxy等,利用它可以模拟浏览
阅读全文
摘要:选择主题和背景图片 选择字体、修改字体大小 新建颜色主题 修改背景颜色 修改注释颜色 File --> Setting (Ctrl + Shift + S) 1、选择不同的主题、选择背景图片 Appearnce & Behavior --> Appearance 2、字体 Editor --> Fo
阅读全文
摘要:Shift + F6 在文件夹直接更改文件名称时,其它文件里有调用这个模块的话,名称是不会改变的,只会报错,显示找不到这个模块,这时,可以在pycharm里直接更改 右键你需要改名的文件,选择Refactor重构 --> Rename重命名 在弹出的窗口输入你需要的名称,点击下方的Refactor
阅读全文