10 2021 档案
摘要：1.查看MySQL连接数 登录到MySQL命令行，使用如下命令可以查看当前处于连接未关闭状态的进程列表； show full processlist; 若不加上full选项，则最多显示100条记录。 若以root帐号登录，你能看到所有用户的当前连接。如果是其它普通帐号，只能看到自己占用的连接。 在调
阅读全文
摘要：日志级别 CRITICAL：严重错误 ERROR： 一般错误 WARNING： 警告 INFO: 一般信息 DEBUG： 调试信息 只要出现了DEBUG或者DEBUG以上等级的日志，那么这些日志将会打印 在settings.py文件中设置 LOG_LEVEL = 'ERROR' # 设置日志显示的等
阅读全文
摘要：同步存储 import pymysql class ScrapyMoviePipeline: def __init__(self): self.conn = pymysql.connect( host='127.0.0.1', user='root', passwd='admin@123', db=
阅读全文
摘要：带有 yield 的函数不再是一个普通函数，而是一个生成器generator，可用于迭代 yield 是一个类似 return 的关键字，迭代一次遇到yield时就返回yield后面(右边)的值 重点是：下一次迭代时，从上一次迭代遇到的yield后面的代码(下一行)开始执行 简要理解：yield就是
阅读全文
摘要：import sqlite3 # 连接数据库（如果不存在则创建一个数据库） conn = sqlite3.connect('d:/test.db') # 创建一个游标 c = conn.cursor() # 创建表 create_tbl_sql = '''create table info( id
阅读全文
摘要：scrapy shell是一个交互终端，供您在未启动spider的情况下尝试及调试您的爬取代码。 其本意是用来测试提取数据的代码，不过您可以将其作为正常的Python终端，在上面测试任何的Python代码。 该终端是用来测试XPath或CSS表达式，查看他们的工作方式及从爬取的网页中提取的数据。 在
阅读全文
摘要：去你当前的项目路径下找到lib文件夹下的site-packages，删除相关的pip版本 再运行python -m pip install --upgrade pip 如果把pip搞没了到设置里根据提示装回去，再执行上面的操作
阅读全文
摘要：1.架构组成 引擎：自动运行，无需关注，会自动组织所有的请求对象，分发给下载器 下载器：从引擎处获取到请求对象后，请求数据 spiders ：Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例 如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Sp
阅读全文
摘要：1.创建Scrapy项目 scrapy startproject 项目名称 例： scrapy startproject myScrapyProject scrapy项目目录结构 myScrapyProject myScrapyProject spiders _init_.py 自定义的爬虫文件.p
阅读全文
摘要：写好的python程序要打包成windows的可执行文件，一般都是用pyinstaller。比如你要对test.py这个文件打包，一般的pyinstaller -F test.py就可以了。还有另一种用法，就是用spec文件，spec文件其实就相当于一个打包的架构文件，里面写了要怎么打包，类似于do
阅读全文
摘要：1.安装工具 pip install pyinstaller pip install pywin32 2.打包命令 格式如下： pyinstaller [opts] yourprogram.py 参数含义 -F 指定打包后只生成一个exe格式的文件(建议写上这个参数) -D –onedir 创建一个
阅读全文
