10 2020 档案
摘要：rsync 排除指定目录或文件进行同步 很常见的情况：我想同步/myweb下的 一些php文件 ， 但是不想复制/myweb/log/里边的一些日志文件，因为这些文件太大了，备份也是没有意义的。 现在如果想避开某个路径 直接添加—exclude 即可 比如—exclude “./log” –excl
阅读全文
摘要：Scrapy的Request和Response 本文链接：https://blog.csdn.net/kissazhu/article/details/80865773 上节课我们学习了中间件，知道了怎么通过中间件执行反反爬策略。本节课主要介绍Scrapy框架的request对象和response对
阅读全文
摘要：scrapy使用response.body时编码问题 摘要：scrapy使用response.body时编码问题。如果在使用responses.body获取数据时，需要将其编码转换成unicode,即如下处理： response.body返回的结果是byte字节串，其编码是网页的原编码； 如果在使用
阅读全文
摘要：import pika import threading import random import uuid import json # 框架模块 from django.conf import settings """ Class: Parameters: Connectionsize:int类型
阅读全文
摘要：pika详解(四) channel 通道 本文链接：https://blog.csdn.net/comprel/article/details/94662394 版权 channel通道 通道是在connection建立后进行创建分配的，有利于connection重用 官方建议通过connect
阅读全文
摘要：pika详解(五)登录认证及connectionParameters 本文链接：https://blog.csdn.net/comprel/article/details/94662916 版权 pika 登录认证 使用Pika进行身份验证，需要创建一个PlainCredentials 传递用户名和
阅读全文
摘要：pika详解(三)SelectConnection及其他Connection 本文链接：https://blog.csdn.net/comprel/article/details/94661147 pika除了block connection外还提供了其他非阻塞式的连接方式 SelectConnec
阅读全文
摘要：pika详解(二) BlockingConnection 本文链接：https://blog.csdn.net/comprel/article/details/94592348 版权 BlockingConnection BlockingConnection提供了最通用的连接方式 提供两个类： Bl
阅读全文
摘要：pika详解 (一) 本文链接：https://blog.csdn.net/comprel/article/details/94592316 pika pika处理消息可以简单分为以下几个步骤： 我们首先创建连接对象，然后启动事件循环。 当有连接时，调用on_connected方法。在该方法中创建c
阅读全文
摘要：""" Django settings for log_collect_statistics project. Generated by 'django-admin startproject' using Django 2.1.15. For more information on this fil
阅读全文
摘要：Django orm增删改字段、建表 ，单表增删改查，Django请求生命周期 版权 1 orm介绍 ORM是什么 ORM 是 python编程语言后端web框架 Django的核心思想，“Object Relational Mapping”，即对象-关系映射，简称ORM。 一个句话理解就是：创建一
阅读全文
摘要：python RabbitMQ队列使用 python RabbitMQ队列使用 关于python的queue介绍 关于python的队列，内置的有两种，一种是线程queue，另一种是进程queue，但是这两种queue都是只能在同一个进程下的线程间或者父进程与子进程之间进行队列通讯，并不能进行程序与
阅读全文
摘要：80个Python练手项目列表 我若将死，给孩子留遗言，只留一句话：Repetition is the mother of all learning重复是学习之母。他们将来长大，学知识，技巧、爱情、事业、交流....倘若懂得行动的力量，不怕重复，不怕犯错误，那就大有希望靠近幸福了。 Python 新
阅读全文
摘要：1.异步框架示意图 2.celery 官方文档 http://docs.celeryproject.org/en/latest/index.html 3.启动celery的命令 启动 sender 自动检测 celery -A app beat -l info 启动worker 自动检测 celer
阅读全文
摘要：为什么要选择RabbitMQ ，RabbitMQ简介，各种MQ选型对比 前言： MQ是什么？队列是什么，MQ我们可以理解为消息队列，队列我们可以理解为管道。以管道的方式做消息传递。 场景： 1.其实我们在双11的时候，当我们凌晨大量的秒杀和抢购商品，然后去结算的时候，就会发现，界面会提醒我们，让我们
阅读全文
摘要：吞吐量（TPS）、QPS、并发数、响应时间（RT）概念 QPS 原理：每天80%的访问集中在20%的时间里，这20%时间叫做峰值时间。 公式：( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS) 。 机器：峰值时间每秒QPS / 单台机器的QPS = 需要
阅读全文
摘要：Supervisor使用详解 一、supervisor简介 Supervisor是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动，
阅读全文
摘要：1.安装 supervisor pip install supervisor 2.创建supervisor配置文件，命令如下： 进入项目文件 echo_supervisord_conf > supervisord.conf vim supervisord.conf 在末尾输入: [program:c
阅读全文
摘要：一、目录结构 二、创建worker文件夹 __init__.py # -*- coding:utf-8 -*-import osfrom celery import Celery, platforms# elery不能root用户启动解决(C_FORCE_ROOT environment)platf
阅读全文
摘要：Celery - 定时任务 定时任务 Celery 中启动定时任务有两种方式，（1）在配置文件中指定；（2）在程序中指定。 # cele.py import celery app = celery.Celery('cele', broker='redis://localhost:6379') @ap
阅读全文
摘要：目录结构 第一步 celery_task 里面的celery文件 import time from celery import Celery # celery from celery.schedules import crontab # 将此文件celery启动 windows celery wor
阅读全文
摘要：在windows上 使用celery 报错 在windows上 使用celery 报错 ValueError: not enough values to unpack (expected 3, got 0) 原因是官方不支持在windows上使用，但是仍然可以用来测试 安装gevent即可 pip
阅读全文
摘要：本文链接：https://blog.csdn.net/qq_35014708/article/details/89458175
阅读全文
摘要：在js中将map对象转换成json //msp转objectlet obj= Object.create(null); for (let[k,v] of map) { obj[k] = v; }//object转json JSON.stringify(obj); js对cookie的操作 2020-
阅读全文
摘要：js获取cookie数据并发送给服务端 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <title>Title</title> </head> <script type="text/javascript"> functi
阅读全文
摘要：linux中用iptables开启指定端口 centos默认开启的端口只有22端口,专供于SSH服务,其他端口都需要自行开启. 1.修改/etc/sysconfig/iptables文件，增加如下一行： -A INPUT -m state --state NEW -m tcp -p tcp --dp
阅读全文
