01 2020 档案
摘要：CentOS pip install mysqlclient 安装报错 安装依赖: yum install mysql-devel 然后再执行: pip install mysqlclient
阅读全文
摘要：Python os包功能 (图片为Windows10环境) 1.os.name # 导入依赖操作系统模块的名字 2.os.environ # 一个mapping对象表示环境 3.os.curdir # 一个mapping对象表示环境 4.os.pardir # 操作系统用此常数字符串作为父文件夹的引
阅读全文
摘要：一些国内的pip源： 阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pypi.douban.com/simple/ 清华大学 h
阅读全文
摘要：搬运出处: https://github.com/0voice/interview_internal_reference 超键(super key): 在关系中能唯一标识元组的属性集称为关系模式的超键 候选键(candidate key): 不含有多余属性的超键称为候选键。也就是在候选键中，若再删除
阅读全文
摘要：1 scrapy中间件的分类和作用 1.1 scrapy中间件的分类 根据scrapy运行流程中所在位置不同分为： 下载中间件 爬虫中间件 1.2 scrapy中间的作用 主要功能是在爬虫运行过程中进行一些处理，如对非200响应的重试（重新构造Request对象yield给引擎） 也可以对heade
阅读全文
摘要：从response中提取所有的满足规则的url地址 自动的构造自己requests请求，发送给引擎 2.1 创建crawlspider爬虫： scrapy genspider -t crawl tencent hr.tencent.com 2.3 观察跟普通的scrapy.spider的区别 在cr
阅读全文
摘要：rapy的安装：pip install scrapy 创建scrapy的项目: scrapy startproject myspider 创建scrapy爬虫：在项目目录下执行 scrapy genspider itcast itcast.cn 运行scrapy爬虫：在项目目录下执行 scrapy
阅读全文
摘要：1. mongodb服务端启动 sudo mongod --auth # 以权限认证的方式启动 --fork # 后台运行 --logpath= # 指定日志文件路径 --logappend # 声明日志以追加方式写入 --dbpath= # 指定数据库文件夹所在路径 2. 进入mongo shel
阅读全文
摘要：2 通过headers字段来反爬 headers中有很多字段，这些字段都有可能会被对方服务器拿过来进行判断是否为爬虫 2.1 通过headers中的User-Agent字段来反爬 反爬原理：爬虫默认情况下没有User-Agent 解决方法：请求之前添加User-Agent即可；更好的方式是使用Use
阅读全文
摘要：1 selenium 处理cookie driver.get_cookies()获取的是完整的cookie信息！不光有name、value，还有domain等其他信息！ # 把cookie转为字典cookies_dict = {cookie['name']: cookie['value'] for
阅读全文
摘要：1 加载网页： selenium通过控制浏览器，所以对应的获取的数据都是elements中的内容 from selenium import webdriver # 指定driver的绝对路径 # driver = webdriver.PhantomJS(executable_path='/home/
阅读全文
摘要：表达式描述 nodename 选中该元素。 / 从根节点选取、或者是元素和元素间的过渡。 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 . 选取当前节点。 .. 选取当前节点的父节点。 @ 选取属性。 text() 选取文本。 实例 在下面的表格中，我们已列出了一些路径表达式以及
阅读全文
摘要：-- 数据库备份与恢复数据库导入文件 -- mysqldump –uroot –p 数据库名 > python.sql; -- mysql -uroot –p 新数据库名 < python.sql;
阅读全文
摘要：-- 全列插入 -- insert [into] 表名 values(...) insert into classes values(1,"python14"); -- 部分插入 -- insert into 表名(列1,...) values(值1,...) insert into student
阅读全文
摘要：-- 查看当前数据库中所有表 show tables; -- 创建表 -- int unsigned 无符号整形 -- auto_increment 表示自动增长 -- not null 表示不能为空 -- primary key 表示主键 -- default 默认值 -- create tabl
阅读全文
摘要：-- 链接数据库 mysql -uroot -pmysql -- 不显示密码 mysql -uroot -p mysql -- 退出数据库 exit/quit/ctrl + d -- sql语句最后需要有分号;结尾 -- 显示数据库版本 version select version(); -- 显示
阅读全文
摘要：定义时，在实例方法的基础上添加 @property 装饰器；并且仅有一个self参数 调用时，无需括号 三种@property装饰器 #coding=utf-8 # ############### 定义 ############### class Goods: """定义一个商品类 第一种装饰器:@
阅读全文
摘要：正则表达式匹配单个字符 代码 功能 . 匹配任意1个字符（除了\n） [ ] 匹配[ ]中列举的字符 \d 匹配数字，即0-9 \D 匹配非数字，即不是数字 \s 匹配空白，即 空格，tab键 \S 匹配非空白 \w 匹配非特殊字符，即a-z、A-Z、0-9、_、汉字 \W 匹配特殊字符，即非字母、
阅读全文
摘要：匹配`中文字符`的正则表达式： [u4e00-u9fa5] 评注：匹配中文还真是个头疼的事，有了这个表达式就好办了 匹配`双字节字符(包括汉字在内)`：[^x00-xff] 评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1） 匹配`空白行`的正则表达式：ns*r 评注：可以
阅读全文
摘要：在def函数里面看到有yield关键字那么就是生成器 代码执行到yield会暂停，然后把结果返回出去，下次启动生成器会在暂停的位置继续往下执行 yield和return的对比 使用了yield关键字的函数不再是函数，而是生成器。（使用了yield的函数就是生成器） 代码执行到yield会暂停，然后把
阅读全文
摘要：自定义迭代器对象: 在类里面定义__iter__和__next__方法创建的对象就是迭代器对象 iter()函数与next()函数 iter函数: 获取可迭代对象的迭代器，会调用可迭代对象身上的__iter__方法 next函数: 获取迭代器中下一个值，会调用迭代器对象身上的__next__方法 f
阅读全文
摘要：1. 功能对比 进程，能够完成多任务，比如 在一台电脑上能够同时运行多个QQ 线程，能够完成多任务，比如 一个QQ中的多个聊天窗口 2. 定义对比 进程是系统进行资源分配基本单位，每启动一个进程操作系统都需要为其分配运行资源。 线程是运行程序中的一个执行分支，是CPU调度基本单位。 总结:进程是操作
阅读全文
摘要：优点: 可靠，稳定 适合传输大量数据 缺点: 传输速度慢 占用系统资源高 TCP和UDP区别 TCP面向连接; UDP是不面向连接; TCP提供可靠的数据传输，也就是说，通过TCP连接传送的数据，无差错，不丢失，不重复，且按序到达;UDP不保证可靠的数据传输，容易出现丢包情况; TCP需要连接传输速
阅读全文
摘要：怎样查看端口号 ？ 用 netstat －an 查看程序所使用的端口号 lsof -i [tcp/udp]:2425 查看端口号对应的应用程序 UDP的优缺点 优点: 传输速度快 不需要连接，资源开销小 缺点: 传输数据不可靠，容易丢数据包 没有流量控制，当对方没有及时接收数据，发送方一直发送数据会
阅读全文
摘要：vim常用命令 48.1. i: 进入编辑模式48.2. yy: 复制光标所在行 复制多行： 数字+yy48.3. p: 粘贴， 粘贴多次： 数字+p48.4. dd(删除、剪切)， 剪切或者删除多行：数字+dd48.5. V: 选中多行48.6. 上下左右: k：上， j:下， l:右 ，h：左
阅读全文
摘要：启动终端： ctr+alt+t 终端字体放大： ctr+shift+'+',终端字体缩小: ctr+'-' ls: 查看当前目录下的文件信息 pwd: 查看目录所在的路径 touch: 创建文件 mkdir: 创建文件夹 rmdir: 删除文件夹，提示：只能是空文件夹 rm: 默认删除的是文件，如果
阅读全文
摘要：修改ip地址 sudo ifconfig ens33 192.168.1.108 在乌班图安装ssh A.安装ssh服务器 sudo apt-get install openssh-server B.远程登陆 ssh 用户名@IP ssh访问，如错误。可查看是否有该文件 ～/.ssh/known_s
阅读全文
摘要：启动终端： ctr+alt+t 终端字体放大： ctr+shift+'+',终端字体缩小: ctr+'-' mkdir 可建一个新目录 -p可递归创建目录。 rmdir 删除空文件夹 rm 删除文件或目录 -i 交互 -f 强制删除，忽略不存在的文件，无需提示 -r 递归地删除目录下的内容，删除文件
阅读全文
摘要：PyCharm快捷键 Alt+Enter 自动添加包">Ctrl+t SVN更新Ctrl+k SVN提交Ctrl + / 注释(取消注释)选择的行">Ctrl+Shift+F 高级查找Ctrl+Enter 补全Shift + Enter 开始新行TAB Shift+TAB 缩进/取消缩进所选择的行C
阅读全文
摘要：搬运来源: https://www.cnblogs.com/lianshuiwuyi/p/11636876.html Python获取无线局域网IP 本文记录使用Python获取本机IP的两种方法。 通过hostname来获取本机IP import socket print(socket.getho
阅读全文
摘要：-- SELECT * FROM U WHERE binary NAME LIKE 'g%'; -- SELECT * FROM U WHERE binary NAME LIKE 'G%'; 多加一个binary，就可以得到不同的结果！ 如果需要建表时强制区分大小写，可以： -- create ta
阅读全文
