摘要：
import redis # 定义ip和端口host = 'localhost'port = 6379 # 建立连接r = redis.Redis(host=host, port=port) username = '11552252' r.lpush(username, 1) r.expire(us 阅读全文
摘要：
显示版本号 docker --versions 显示镜像 docker images 保存镜像 docker save -o /home/dyufei/tensorflow.tar tensorflow/tensorflow 或者 docker save tensorflow/tensorflow 阅读全文
摘要：
# 1.在安装scrapy前需要安装好相应的依赖库, 再安装scrapy, 具体安装步骤如下: (1).安装lxml库: pip install lxml (2).安装wheel: pip install wheel (3).安装twisted: pip install twisted文件路径 (t 阅读全文
摘要：
# 分布式概念: 使用多台机器组成一个分布式的机群，在机群中运行同一组程序，进行联合数据的爬取。 # 原生scrapy无法实现分布式原因: - 原生的scrapy中的调度器不可以被共享 - 原生的scrapy的管道不可以被共享 # 使用scrapy实现分布式思路: - 为原生的scrapy框架提供共 阅读全文
摘要：
import pymongo class SpiderPipeline(object): def __init__(self, mongo_uri, mongo_db): # mongodb的路由 self.mongo_uri = mongo_uri # mongodb的库名 self.mongo_ 阅读全文
摘要：
Redis是使用C语言开发, 支持网络, 可基于内存亦可持久化的日志型key-value数据库 为开发语言提供多种API Redis特性： 1.redis存储数据, 内存当中, 可以将内存中的数据保存到磁盘当中, 重启可以再次加载 2.redis不仅仅支持key-value结构(hash)的数据, 阅读全文
摘要：
打开自己的pycharm的安装目录 bin下文件pycharm.exe.vmoptions 修改默认的 -server -Xms128m -Xmx512m 为 -server -Xms256m -Xmx1024m 启动会变快的 阅读全文
摘要：
报错信息： Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None)) after connection broken by 'ConnectTimeoutError(<pip._vendor.urll 阅读全文
摘要：
django 发送126邮箱 首先取得网易授权 1. 设置 2.左侧客户端授权码 3.自定义授权码 也就是你配置文件中的密码 配置文件 # 邮件 EMAIL_HOST = 'smtp.126.com' # 设置端口号，为数字 EMAIL_PORT = 25 #设置发件人邮箱 EMAIL_HOST_U 阅读全文
摘要：
import requests import threadingimport pymongo from threading import Lock from queue import Queue from lxml import etree # 爬虫类，负责采集数据的,(创建父线程类) class 阅读全文