04 2019 档案
摘要：具体使用可参考：https://www.axihe.com/charles/charles/tutorial.html 一.安装 到官网下载安装https://www.charlesproxy.com/ 破解： 在Help窗口内选择 Register 填入账号密码： 配置： 电脑端设置代理：Prox
阅读全文
摘要：一.简介与安装 Gerapy 是一款分布式爬虫管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 开发。 特点： 安装： F:\g
阅读全文
摘要：首先找到出现错误的原因： misconf redis被配置以保存数据库快照，但misconf redis目前不能在硬盘上持久化。用来修改数据集合的命令不能用，请使用日志的错误详细信息。 强制把redis快照关闭了导致不能持久化的问题。运行info命令查看redis快照的状态，如下： 解决方案如下：
阅读全文
摘要：一.环境准备 远程服务器必须装有scapyd，我们使用的机器必须有scrapy-client（我这里是windows），并确保这两者正常安装并启动。 二.客户端准备上传 首先进入到爬虫项目的根文件夹： 这样就是成功了。 三.配置爬虫项目 打开爬虫项目中的scrapy.cfg文件，这个文件就是给scr
阅读全文
摘要：1. pip安装 这里推荐使用pip安装，相关命令如下： 2.验证安装 安装成功后会有一个可用命令，叫作scrapyd-deploy，即部署命令。 我们可以输入如下测试命令测试Scrapyd-Client是否安装成功： 如果出现类似如图1-86所示的输出，则证明Scrapyd-Client已经成功安
阅读全文
摘要：安装好了Scrapyd之后，我们可以直接请求它提供的API来获取当前主机的Scrapy任务运行状况。比如，某台主机的IP为192.168.1.1，则可以直接运行如下命令获取当前主机的所有Scrapy项目： 运行结果如下： 1 {"status": "ok", "projects": ["myproj
阅读全文
摘要：.安装 二.配置 安装完毕之后，需要新建一个配置文件/etc/scrapyd/scrapyd.conf，Scrapyd在运行的时候会读取此配置文件。 在Scrapyd 1.2版本之后，不会自动创建该文件，需要我们自行添加。 首先，执行如下命令新建文件： 接着写入如下内容： 中之一是max_proc_
阅读全文
摘要：一.配置好fiddler和手机 二.抓包 打开快手APP，Fiddler会快速显示很多信息，这些都是手机传送或者接收到的信息。可以逐个包点开，以json形式查看是否是我们需要的内容，如下图所示： 这时可以看到，有一个包里显示了很多信息，包括视频的标题，发布者，再往下拉，发现里面包含很多叫做“main
阅读全文
摘要：import 是 Python 中的天然单例模式，我最先推荐这种方式。 创建两个文件 signletion.py signletion_import.py，文件内容如下 运行结果只输出一次 new instance，代表只生成一个实例，创建单例成功，后续我们都用这种验证方式。 使用 new 方法 直
阅读全文
摘要：1.jd.py # -*- coding: utf-8 -*- import scrapy from copy import deepcopy import json import urllib from scrapy_redis.spiders import RedisSpider from Ji
阅读全文
摘要：一.简介 saltstack是由thomas Hatch于2011年创建的一个开源项目，设计初衷是为了实现一个快速的远程执行系统。 二.诞生的背景 系统管理员日常会进行大量的重复性操作，例如安装软件，修改配置文件，创建用户，批量执行命令等等。如果主机数量庞大，单靠人工维护实在让人难以忍受。 早期运维
阅读全文
摘要：一.schedule schedule库是一个轻量级的定时任务方案，优势是使用简单，也不需要做什么配置；缺点是无法动态添加任务，也无法将任务持久化。 1.安装 2. 使用
阅读全文
摘要：一.安装与简介 1.安装 官方文档：https://apscheduler.readthedocs.io/en/latest/# 2.简介 调度器工作流程： 二.案例 1.hello world 解释： 结果： 除了上述添加作业的方法，还可以使用装饰器 如果同一个方法被添加到多个任务重，则需要指定任
阅读全文
摘要：一.使用都dockerfile封装docker镜像 1.在任意一个地方创建文件夹docker 2.进入文件夹并且下载一个django2.1.7的包以及一个epel.repo 3.在此文件夹下两个文件Dockfile和run.sh 4.编写Dockerfile文件 FROM centos MAINTA
阅读全文
摘要：一.使用redis-cluster的原因 1.并发问题 2.数据量问题 由此产生的集群方案： twemproxy由Twitter开源 Codis由豌豆开源 redis-cluster 官方3.0的集群方案 3.方案实现的的问题 二.客户端分片 redis3.0集群采用P2P模式，完全去中心化，将re
阅读全文
摘要：一.官方安装 https://docs.docker.com/install/linux/docker-ce/centos/#upgrade-docker-after-using-the-convenience-script 官方版:(版本会比较新) 二.阿里云仓库安装 1. 确认阿里云的yum源文
阅读全文
摘要：一.Redis-Sentinel介绍 sentinel主要功能如下： 不时的监控redis是否良好运行，如果节点不可达就会对节点进行下线标识 如果被标识的是主节点，sentinel就会和其他的sentinel节点“协商”，如果其他节点也人为主节点不可达，就会选举一个sentinel节点来完成自动故障
阅读全文
摘要：一.redis的主从操作流程 1. 准备三个redis配置文件 2.写入以下配置 3.目前这三个配置文件配置一样，我们只需修改端口，让他们的端口不用即可（路径也不一样） 4. 在6381和6382下添加以下配置，使之成为从数据库 5. 确认三个配置文件无误 6. 开启这三个redis服务，确保三个服
阅读全文
摘要：一.前言 在使用云服务器时，安装的redis3.0+版本都关闭了protected-mode，因而都遭遇了挖矿病毒的攻击，使得服务器99%的占用率！！ 因此我们在使用redis时候，最好更改默认端口，并且使用redis密码登录。 但是： 相对安全的配置： 启动redis： 使用密码登录redis，使
阅读全文
摘要：一.redis数据持久化(数据保存在硬盘上) 1.redis持久化操作（RDB） redis提供了RDB(Redis DataBase)持久化的功能，这个功能可以将redis在内存中的的状态保存到硬盘中，它可以手动执行。 也可以再redis.conf中配置，定期执行。 RDB持久化产生的RDB文件是
阅读全文
摘要：一.mariadb的基本操作 1.远程连接 2.赋予远程连接的权限 3.修改root密码 4.创建mysql用户 5.给用户查看所有库所有表权限 6.给用户增加其他权限 7.授予权限的语法 8.移除权限 9.查看权限 10.查询用户信息 11.数据库的备份与恢复 12.导入数据库 13.删库 二 .
阅读全文
摘要：一.导论 1.Django部署 二.nginx+uwsgi结合的好处 uwsgi.py文件 三.关于几个概念和文件 wsgi uwsgi 四.django运行环境 Nginx+uwsgi安装配置 之前我们使用 python manage.py runserver 来运行服务器。这只适用测试环境中使用
阅读全文
摘要：一. domz.py 看一下和scapy的主要区别： 二. settings.py 三.运行爬虫后的的结果 进入项目文件夹，执行： 再看一下数据库： · 注意： 1.这个并没有用到items和pipline所以我们先研究这两个文件 四.注释掉写入reid的语句，在运行一下看下结果 在settings
阅读全文
摘要：一.豆瓣模拟登录(双层html) 二.人人模拟登录 code： ''' 1.http://www.yundama.com/demo.html 2.注册:普通用户和开发者用户 3.登录操作: 3.1 普通用户:查看余额. 3.2 开发者用户: - 创建一个软件: - 下载示例程序:开发文档->下载新版
阅读全文
摘要：一.负载均衡 1.概述 2.负载均衡的代理的区别 二.简单实现负载均衡 1. 准备第三台机器 2.确保应用服务器和负载均衡器在实现负载均衡的之前都能单独访问 3.配置负载均衡器(192.168.226.130) 1.在nginx.conf > http 区域中 2.在nginx.conf > htt
阅读全文
摘要：一.nginx是什么 回答： 二.安装 1.通过yum 安装 2.编译安装 1.卸载yum安装的 2.安装依赖 3.安装软件 #定义nginx工作进程数 worker_processes 5; #错误日志 #error_log logs/error.log; #http定义代码主区域 http {
阅读全文
摘要：一.爬虫 二. item 3.pipeline 4.settings
阅读全文
摘要：一.方式 二.技术栈 三.安装mariadb（mysql） 1.配置官方源 2.通过官方那个源安装 3.由于官方链接可能会很慢，我们用阿里云的源下载5.x的版本 4.启动数据库 5.查看是否启动成功 6.启动成功后初始化数据库 7.修改配置（主要是语言，默认是la-tin，中文会乱码，所以在创建库表
阅读全文
摘要：一.导语 在使用 Python 开发的过程中，工程一多，难免会碰到不同的工程依赖不同版本的库的问题； 亦或者是在开发过程中不想让物理环境里充斥各种各样的库，引发未来的依赖灾难。 此时，我们需要对于不同的工程使用不同的虚拟环境来保持开发环境以及宿主环境的清洁。 这里，就要隆重介绍 virtualenv
阅读全文
摘要：In [1]: In [1]: In [1]: import pandas as pd import numpy as np import matplotlib.pyplot as plt plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文
阅读全文
摘要：一.整体思路及中心节点的配置 4.以这个镜像为基础创建新的docker（这个docker是作为center中心调度器，所有信息的读写都在这边，3a54是上面加载进来镜像的id） 5. 查看docker是否在运行 6.进入容器并且查看这个docker的ip (center为docker的name) 6
阅读全文
摘要：一.认识docker 二.docker架构及特点 三.docker常用操作 1.关于镜像 2.关于docker操作 三.docker运行后额一些操作 1.运行一个而UN不能图镜像并且查看版本 2.运行一个web服务器，并且通过ip+端口访问 [root@instance-hrnebyqu opt]#
阅读全文
摘要：一.查看python版本及安装python3 1. which python 可以看到预装的是2.7版本 2.安装依赖包 3.根据需求安装自己所需要的版本 4.创建要安装的目录 5.把压缩包移动到这个路径，并解压 6.进入这个目录 7.指定安装目录（应该先进入解压出来的文件夹，也就是configur
阅读全文
摘要：一.项目准备 1.新建项目目录students,并创建虚拟环境 mkvirtualenv students 2.安装依赖环境 pip install flask==0.12.4 pip install redis pip install flask-session pip install flask
阅读全文
摘要：一.ORM 二.Flask-SQLAlchemy 基本操作： 数据库操作 实例1:（创建表和添加数据）： dev.py 其中realtionship描述了Role和User的关系。在此文中，第一个参数为对应参照的类"User" 第二个参数backref为类User申明新属性的方法 第三个参数lazy
阅读全文
摘要：一.请求钩子 在客户端和服务器交互的过程中，有些准备工作或扫尾工作需要处理，比如： - 在请求开始时，建立数据库连接； - 在请求开始时，根据需求进行权限校验； - 在请求结束时，指定数据的交互格式； 为了让每个视图函数避免编写重复功能的代码，Flask提供了通用设施的功能，即请求钩子。 请求钩子是
阅读全文
摘要：默认情况下我们使用Pycharm专业版创建一个Flask项目时就会自动创建一个简单的项目结构，Pycharm会自动关联起文件的语法，模版等。而自己手动创建的文件并没有关联起来。这就会出现上面说的无法补全语法的问题，这时候就需要手动配置一下即可。 因为使用的是专业的(PJ)版没有测试社区版的是否这样也
阅读全文
摘要：这篇文章写得更好：http://wittyfans.com/coding/%E5%88%A9%E7%94%A8Pandas%E5%88%86%E6%9E%90%E7%BE%8E%E5%9B%BD%E4%BA%A4%E8%AD%A6%E5%BC%80%E6%94%BE%E7%9A%84%E6%90%9
阅读全文
摘要：一. 初识Flask Flask诞生于2010年，是Armin ronacher（人名）用 Python 语言基于 Werkzeug 工具箱编写的轻量级Web开发框架。 Flask 本身相当于一个内核，其他几乎所有的功能都要用到扩展（邮件扩展Flask-Mail，用户认证Flask-Login，数据
阅读全文
摘要：本文转自:https://mp.weixin.qq.com/s/fuS3uDvAWOQBQNetLqzO-g 一、前言 作为一名爬虫工程师，在工作中常常会遇到爬取实时数据的需求，比如体育赛事实时数据、股市实时数据或币圈实时变化的数据。如下图： Web 领域中，用于实现数据'实时'更新的手段有轮询和
阅读全文
摘要：一.为什么要有编码规范 二.代码编排 缩进4个空格，禁止空格与Tab混用 每行最大长度80字符，换行可以使用反斜杠，最好使用圆括号。换行点要在操作符的后边敲回车,防止单行国语复杂的import 不使用 from xxx import * 这种语法 类和top-level函数定义之间空两行；类中的方法
阅读全文
