摘要:
time 包为我们提供了一个数据类型 time.Time(作为值使用)以及显示和测量时间和日期的功能函数。 当前时间可以使用 time.Now() 获取,或者使用 t.Day()、t.Minute() 等等来获取时间的一部分;你甚至可以自定义时间格式化字符串,例如: fmt.Printf("%02d 阅读全文
摘要:
伪装浏览器代理 在爬取网页是有些服务器对请求过滤的不是很高可以不用ip来伪装请求直接将自己的浏览器信息给伪装也是可以的。 第一中方法: 1.在setting.py文件中加入以下内容,这是一些浏览器的头信息 1 # encoding: utf-8 2 from scrapy.utils.project 阅读全文
摘要:
1. 运行容器,自动下载镜像 2. 创建主机挂载配置文件 conf存放配置文件 data存放数据库文件 3. 初始化配置文件 将数据库初始文件复制到/usr/mysql/data里面 4. 停止删除容器 5. 生成启动文件 - start.sh 参数说明 --hostname \${HOST_NAM 阅读全文
摘要:
引自:这里 每条命令使用";"隔开,则无论前边的命令执行成功与否都会继续执行下一条命令这里,故意将第二条命令中的echo多写了一个o,命令执行出错,但并不影响后续命令的执行可以这么想,如果用分号来间隔命令,就相当于将命令分隔在了不同的行,无论前一行的命令成功或失败,都不影响下一行命令的执行。$ ec 阅读全文
摘要:
背景: 刚开始学习scrapy爬虫框架的时候,就在想如果我在服务器上执行一个爬虫任务的话,还说的过去。但是我不能每个爬虫任务就新建一个项目吧。例如我建立了一个知乎的爬行任务,但是我在这个爬行任务中,写了多个spider,重要的是我想让他们同时运行,怎么办? 小白解决办法: 1、在spiders同目录 阅读全文
摘要:
以伯乐在线文章为爬取目标blog.jobbole.com,发现在"最新文章"选项中可看到所有文章 一般来说,可以用scrapy中自带的xpath或者css来提取数据,定义在spiders/jobbole.py中的def parse(self, response) import scrapy clas 阅读全文
摘要:
CentOS7下安装配置python3实验环境操作系统:CentOS Linux release 7.3.1611 (Core) IP: 192.168.230.142下载插件根据官网提示,在centos下安装python3版本需要提前安装如下插件:openssl-devel bzip2-devel 阅读全文
摘要:
pip 是 Python 包管理工具,该工具提供了对Python 包的查找、下载、安装、卸载的功能。 目前如果你在 python.org 下载最新版本的安装包,则是已经自带了该工具。 Python 2.7.9 + 或 Python 3.4+ 以上版本都自带 pip 工具。 pip 官网:https: 阅读全文
摘要:
背景 由于之前都把零散的知识都写在 Gist 上,要查找的时候不是很系统化,所以打算挪到 GitBook 上来统一管理,而且 GitBook 写完编译后可以生成静态页面发布到博客上,逼格满满的样子。 GitBook 简介 GitBook 官网 GitBook 文档 GitBook 准备工作 安装 N 阅读全文
摘要:
Docker支持以下的CentOS版本: CentOS 7 (64-bit) CentOS 6.5 (64-bit) 或更高的版本 前提条件 目前,CentOS 仅发行版本中的内核支持 Docker。 Docker 运行在 CentOS 7 上,要求系统为64位、系统内核版本为 3.10 以上。 D 阅读全文
摘要:
scrapy-redis简介 scrapy-redis是scrapy框架基于redis数据库的组件,用于scrapy项目的分布式开发和部署。 有如下特征: 分布式爬取 您可以启动多个spider工程,相互之间共享单个redis的requests队列。最适合广泛的多个域名网站的内容爬取。 分布 阅读全文
摘要:
在讲解聚合管道(Aggregation Pipeline)之前,我们先介绍一下 MongoDB 的聚合功能,聚合操作主要用于对数据的批量处理,往往将记录按条件分组以后,然后再进行一系列操作,例如,求最大值、最小值、平均值,求和等操作。聚合操作还能够对记录进行复杂的操作,主要用于数理统计和数据挖掘。在 阅读全文
摘要:
在编写爬虫时,性能的消耗主要在IO请求中,当单进程单线程模式下请求URL时必然会引起等待,从而使得请求整体变慢。 同步执行 import requests def fetch_async(url): response = requests.get(url) return response url_l 阅读全文
摘要:
很多不太懂正则的朋友,在遇到需要用正则校验数据时,往往是在网上去找很久,结果找来的还是不很符合要求。所以我最近把开发中常用的一些正则表达式整理了一下,在这里分享一下。给自己留个底,也给朋友们做个参考。 一、校验数字的表达式 1 数字:^[0-9]*$ 2 n位的数字:^\d{n}$ 3 至少n位的数 阅读全文
摘要:
设置时区 CELERY_TIMEZONE = 'Asia/Shanghai' 启动时区设置 CELERY_ENABLE_UTC = True 限制任务的执行频率 下面这个就是限制tasks模块下的add函数,每秒钟只能执行10次 CELERY_ANNOTATIONS = {'tasks.add':{ 阅读全文
摘要:
Centos7默认自带了Python2.7版本,但是因为项目需要使用Python3.x你可以按照此文的三个方法进行安装. 注:本文示例安装版本为Python3.5, 一、Python源代码编译安装 安装必要工具 yum-utils ,它的功能是管理repository及扩展包的工具 (主要是针对re 阅读全文
摘要:
1.查看是否已经安装Python CentOS 7.2 默认安装了python2.7.5 因为一些命令要用它比如yum 它使用的是python2.7.5。 使用 python -V 命令查看一下是否安装Python 然后使用命令 which python 查看一下Python可执行文件的位置 可见执 阅读全文
摘要:
两个字典如下: >>> d1 = {'name' : 'revotu', 'age' : 99} >>> d1 = {'name' : 'revotu', 'age' : 99} >>> d2 = {'age' : 24, 'sex' : 'male'} >>> d2 = {'age' : 24, 阅读全文
摘要:
简介与其他资料: - http://www.5i01.cn/topicdetail.php?f=510&t=3734550 FFmpeg 常用选项功能说明 由于 FFmpe 功能太庞大了,所以以下只节录一些常用选项的说明,如果需要更详细的说明,请查询 ffmpeg Documentation。 基本 阅读全文
摘要:
CentOS 6和7安装方法是不一样的,下面分别说明: 安装前都需要先安装epel扩展源 yum -y install epel-release CentOS 6比较简单,安装yum源之后直接安装即可: su -c 'yum localinstall --nogpgcheck https://dow 阅读全文