03 2020 档案
摘要:###安装Redis集群库 pip install redis-py-cluster ###第一种方法 ####python连接redis cluster集群 from rediscluster import StrictRedisCluster #构建所有的节点 startup_nodes = [
阅读全文
摘要:登录界面出现乱码问题 需要安装linux 字体 出现以下情况代理问题 `
阅读全文
摘要:一.升级yum 二.配置谷歌浏览器安装 第一步 第二步 第三步 三.安装驱动 驱动去官网下载:https://sites.google.com/a/chromium.org/chromedriver/downloads 上传至于/usr/local/bin/文件目录 给与权限即可 四.卸载驱动(需要
阅读全文
摘要:开启线程池示例 一、多线程爬取京东投诉信息 20页数据爬取时间:Done, Time cost: 1.6854908466339111 二、多线程爬取阿里详情投诉信息 20页数据爬取时间:Done, Time cost: 20.348562240600586
阅读全文
摘要:一般情况下都会自带安装了python2,所以不要删除。继续安装你的python3就好,因为某些程序需要依赖目前python2环境。 一.安装依赖环境 二.下载Python3 三.安装 在Python下载目录依次运行如下命令 创建安装目录 make是一个编译命令,如果make的时候出现以下情况 那就是
阅读全文
摘要:爬虫最新的库requests html库总结 requests html是比较新的爬虫库,作者和requests是同一个作者 一.安装依赖 我们可以在安装的时候看到他安装了lxml,reuqests,bs4......我们常用的解析和爬取的库都分装在他里面 二. 发起请求 1.解决无头浏览器(针对反
阅读全文
摘要:一.取消警告方法 1.放在py文件最上面如图 二. requests 可以传的参数 三. Response 返回值 Unicode 转 utf 8
阅读全文
摘要:```python3# -*- coding: utf-8 -*import oss2import osaccess_key_id = os.getenv('OSS_TEST_ACCESS_KEY_ID', '输入你的key')access_key_secret = os.getenv('OSS_TEST_ACCESS_KEY_SECRET', '输入你的密码')endpoint = os.get...
阅读全文
摘要:获取 title 字段 点击右键 Copy property path objects[""0""].publishedContent.properties.title
阅读全文
摘要:` 报以下错误 Cloning into 'foreign checkuser py'... git@gitlab.xiaoxiangyoupin.com: Permission denied (publickey). fatal: Could not read from remote reposi
阅读全文
摘要:##随机生成验证码\字符串\密码\UUID ###数字验证码 import random import uuid def check_num(): check_num = '' for i in range(4): current = random.randint(1, 9) check_num +
阅读全文
摘要:Host key verification failed. 解决问题 第一步: 第二步:
阅读全文
摘要:首先,第一步安装:Scrapy最简单的方法安装 1.安装Scrapy pip install scrapy 如果命令安装,提示 Failed building wheel for Twisted Microsoft Visual C++ 14.0 is required... 解决问题的过程总结如下
阅读全文