摘要：
1.JS 三元表达式 前置条件 ? 结果一 : 结果二; 不管写成什么格式，都按照这样去看 2.xpath小语法 res= requests.get('url').text html = etree.HTML(res) # 取出包含文章主体 content= html.xpath('//*body[ 阅读全文
摘要：
开始水第三篇，哈哈哈哈 URL：http://match.yuanrenxue.com/match/3 老规矩：F12，刷新 上面两个一个是名单，一个是空，所以此次请求有关的就是在下面两个 logo后面的状态码是202，看下202状态码的解释： 点击，打开我们看一下 就是一个链接，再看看其他的 PO 阅读全文
摘要：
开始水第二篇，哈哈哈 http://match.yuanrenxue.com/match/2 题目是介样的，老规矩F12，刷新~ 这个cookie一看就有问题哈，查看了一会儿再点第2页，漂亮，提示cookie失效，很明显嘛，这就是个cookie反爬 清空一下cookie 直接右键清除，再次刷新 第一 阅读全文
摘要：
水一篇，和大佬们的差距不是一丁点的大啊~~~~~ URL：http://match.yuanrenxue.com/match/1 就是计算所有费用的平均值。 F12，debugger出现 右键点击，选择箭头这个 接下来刷新，就可以跳过debugger了查看网络面板 明显的XHR请求 看一下请求参数 阅读全文
摘要：
简单描述： 需要连接redis，redis传入数据时，取数，传递给爬虫进行采集， 没有数据时，保持连接，时长短则几分钟，长则几小时没有数据流动 socket错误：1008..具体多少记不住了，可以成功连接redis，但是被强制断开 client = redis.Redis(..., health_c 阅读全文
摘要：
1.查看是否安装redis which redis whereis redis ps -aux | grep redis ps -ef|grep redis # 假如得到了进程号 9527 然后用命令 ll /proc/进程号/cwd ls -l /proc/进程号/cwd 2.安装redis 官网 阅读全文
摘要：
1.这个项目是滑块缺口验证码，第一页点击滑块正常执行通过，第二页报错。 perform无法执行，网上找了很多办法，如下： 1.升级浏览器，本来就是权森版本 2.升级驱动，本来就是权森版本 3.升级selenium从3.1到3.4版本，说实话，惊呆我了，3.4特么的没有pause这个方法，手动滑稽~， 阅读全文
摘要：
情况复述：Linux+redis+python，通过python代码向redis中写入数据，前几周都能正常运行，今天突然不行了。因为需要从线下取数，进行爬取操作，急需解决。 1.测试线下代码插入redis是否成功，取数是否成功 2.查看线上是否只有一个redis数据库，是否有多个开放端口，密码是否修 阅读全文
摘要：
首先哈，记录下这次奇怪的服务器部署情况。 pycharm中的代码原封不动的上传到服务器上，提供几个接口服务，本地提供接口都很ok， 上传到服务器上整体GG思密达~ 这个项目属于二次维护，linux + 爬虫 + 简单的flask的demo + mysql，爬虫部分所有的接口代码都弄好了， flask 阅读全文
摘要：
有这么一张表： 里面的技术重复了2次，采购重复了一次。 使用如下语句： select * from test GROUP BY name HAVING COUNT(*) >1 效果如下： 可以看到返回的值与重复的次数不一样。 select * from test where name in(sele 阅读全文
摘要：
废话不多说，直接上干货！ 1.随便创建个django项目，再随便整个startapps，一个原生的项目就出来 2.拽到服务器上，这里我用xshell和xftp6进行连接服务器和操作文件，该说不说，想直接改代码还是麻烦的一批 3.如果服务器上没有装sqlite3，先建议装一下，我这个服务器上版本太低， 阅读全文
摘要：
问题情景：遇到一个Django项目，是一个数据展示的界面，类似商品展示 需求： 需要加上登录和注册功能 进展： 在models文件中新增user表后，执行以下两条命令皆无任何响应。 1 python manage.py makemigrations 2 python manage.py migrat 阅读全文
摘要：
一：文件记录数据库操作日志 查看是否开启日志服务，以及查看日志文件路径 show variables like 'gen%'; 如果没有开启，先设置开启 set global general_log=ON; 二 ：数据库自己记录日志 show variables like '%log_output% 阅读全文
摘要：
简介：Tenacity是一个通用的retry库，简化为任何任务加入重试的功能。 不懂这个库怎么用， 很简单，哦对了，可能还需要你知道装饰器就是那个@啦就够了，上菜！ import tenacity import requests # 直接加上retry装饰器，代码抛出异常会一直重试，直到代码运行成功 阅读全文
摘要：
这个系列第三篇——sched模块 直接上代码： from datetime import datetime import sched import time def timedTask(): # 初始化 sched 模块的 scheduler 类,传入(time.time, time.sleep)这 阅读全文
摘要：
上一篇说了最简单的定时启动，可以说是最简单粗暴的，人生苦短，python优雅，有没有那种很简单很简单，几行代码就可以搞定的那种？ 必须有的哈！ 简单举个例子说一下，上一篇的末尾提到过需要考虑到其他因素，这就来了： 现在需要启动一个selenium的爬虫，使用火狐驱动+多线程，大家都明白的，现在电脑管 阅读全文
摘要：
记得以前的windows 任务定时是可以的正常使用的，今天试了下，发现不能正常使用了，任务计划总是挂起。 接下来记录下python 爬虫定时任务的几种解决方法。 今天是第一篇，后面会陆续更新。 首先最容易的是while true死循环挂起，上代码 import osimport timeimport 阅读全文
摘要：
python日期格式转换，上代码。 import time import datetime time_str = 'Jun 18, 2016' time_format=datetime.datetime.strptime(time_str,'%b %d, %Y') print(time_format 阅读全文
摘要：
返回当前工作目录的方式有很多，在此不一一列举。 复制代码下来还跑不通，相信大家已经有过这样的经历，下面贴一下百度排名前几的代码。 简单意思就是遍历目录下的文件夹，寻找.py文件，拼接路径，执行文件，整体看没什么，实际情况呢，就是我亲身测试在pycharm和vscode中都只能打开其他的py文件，根部 阅读全文
摘要：
1 assoc .py=Python.File 2 assoc .pyw=Python.File.NoConsole 3 ftype Python.File="D:\anaconda3\python.exe" "%%1" %%* 4 ftype Python.File.NoConsole="D:\a 阅读全文
摘要：
pycharm控制台输入： 1 pip freeze > requirement.txt ##迁移requirement文档 将这个txt文档拷贝到新环境里的项目目录下 再次输入： 1 pip install -r requirement.txt 阅读全文
摘要：
网上资源参差不齐，找了很多文件，直接上代码，后续深究继续补充，上代码： 1 def gen_driver(self) -> Firefox: 2 """ 3 生成一个driver 4 generate a driver 5 :return: webdriver 6 """ 7 # 火狐配置文件, 8 阅读全文
摘要：
问题：迁移项目运行环境出现：OSError: [WinError 193] %1 不是有效的 Win32 应用程序这个错误 思路： 1.selenium模块是否可以正常打开网页，如果不可以，解决办法如下： 1.1 查看系统是多少位的，查看python为32位还是64位，查看驱动为32位还是64位，3 阅读全文
摘要：
报错信息： [10108] 15 Jan 11:04:56.622 # Creating Server TCP listening socket 127.0.0.1 按照以下命令输入： 1.Redis-cli.exe2. shutdown3. exit4. redis-server.exe redi 阅读全文
摘要：
安装的是4.2版本的MongoDB，下载下来msi文件以后，一路下一步下一步，然后选择Custom（自定义）， 之后选择相对应的安装路径，因为C盘快满了，安装在了D盘，出现“install mongoDB罗盘”的时候把小勾取消掉，直接安装即可。 安装好了以后，目录大概是这个样子： 有bin，有dat 阅读全文
摘要：
首先在conda里面搜不到 pycharm也一样。 pip报错.... conda install -c simonflueckiger tesserocr pillow用这句就中。 亲测有效。 阅读全文
摘要：
安装Tesseract-OCR试运行报路径错误，将Tesseract-OCR的语言包转至Scripts同级目录下。 然后尝试运行下，如果还有问题，将tesseract整个文件夹的路径添加至环境变量，系统和用户都添加上再次尝试。 阅读全文
摘要：
pip升级以后，再安装一些其他的包，发现如下错误： 列出以下国内pip源： 阿里云 http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣(douban) http://pyp 阅读全文
摘要：
Sql server 主表ID突然从200增长至1000多，以前忽略未处理，现在重新拿出来处理 解决方法1：（创建表时使用此方法） 使用序列： CREATE SEQUENCE Id_Sequence AS INT START WITH 1 INCREMENT BY 1 MINVALUE 0 NO M 阅读全文
摘要：
重装主机硬件后，开机登陆Sql server管理工具，无法找到使用的数据库，只有系统库，使用use语句无法使用该库，select语句错误。 方法一： 如果可以登陆Sql server配置管理工具，即下方图片： 随后： 如果无法正常登陆配置管理工具，比如像我一样： 问题不大，打不开配置工具就没整了吗？ 阅读全文
摘要：
今天找了一个国外的网站练手，页面不是很难，就类似于主页面下面有很多子页面，使用火狐浏览器+xpath helper ，一切都像平时那样的随意，一切都很平常，但是在运行的时候将解析出来的数据进行打印，毫不犹豫的给到我了4个【】 ,ok没关系，代码出错了还好，接下来就从界面开始一点点的分析，沃德天，和我 阅读全文
摘要：
统计Sqlsever数据库中数据的一些小偏方： 阅读全文
摘要：
最近涉及到一个项目，需要从大量的书籍中提取出需要数据，ok~对我这个小弱鸡其实真的有点难，在调用百度图片识别的接口发现无法将图片数据提取出来，数据为空！！！ 万能print()一行行的打印发现接口无法识别JPG后缀的图片，怎么办呢？Python是万能的嘛，直接搞就阔以啦~ 代码如下： 1 impor 阅读全文
摘要：
Requests 参考文档：http://docs.python-requests.org/zh_CN/latest/user/quickstart.html 1 import requests 2 response = requests.get('http://www.baidu.com') 3 阅读全文
摘要：
Urllib 官方文档地址：https://docs.python.org/3/library/urllib.html 其主要包括一下模块： urllib.request 请求模块 urllib.error 异常处理模块 urllib.parse url解析模块 urllib.robotparser 阅读全文
摘要：
超过三个月的时间没有敲过代码了，突然再次接触代码实在有点痛苦，渣渣笔记本再次开机时间很长，好吧，没关系，忍受不了就重装系统，nice！ 重装以后什么都重新下载安装也是比较痛苦的，像什么IDE、MYSQL、PYCHARM、ANACONDA，之后就各种pip 在pycharm中装scrapy中报错了， 阅读全文
摘要：
1. 创建函数 一个函数代表一个行为并且返回一个结果(包括None)，在Python中使用def关键字来定义一个函数，如下： 接下来调用函数，并查看其返回值： 可以看到hello函数首先打印了：Hello，gy!，然后我们又将其返回值也打印出来，在这里因为没有返回具体的值，所以返回了None。 下面 阅读全文
摘要：
1. 赋值语句常用技巧 通过序列解包(sequence unpacking)可以将多个值的序列解开，让后一一放置到变量的序列中。解包的序列中的元素必须和等号左边变量数量一致。如下： 1.2 链式赋值 通过使用链式赋值(chained assignment)可以将一个值同时赋给多个变量，如下： 1.3 阅读全文
摘要：
字典是Python内建的六种序列之一。字典作为一种常用的数据结构，字典中的值没有特定顺序，每个值都对应于一个唯一的键。键可以是数字、字符串甚至是元组。 1. 创建和使用字典 Python中字典可以使用下面的语法来直接创建字典对象： 字典由多个键以及对应的值组成，每个键及其对应的值为一项。上面的示例中 阅读全文
摘要：
字符串是零个或多个的字符所组成的序列，字符串是Python内建的6种序列之一，在Python中字符串是不可变的。 1. 格式化字符串 字符串格式化使用字符串格式化操作符即百分号%来实现。在%左侧放置一个字符串(格式化字符串)，而右侧则放置希望格式化的值(可以是元组或字典等)。 注意： 如果格式化里面 阅读全文