侠客云

摘要： crawlSpider 爬虫 思路： 从response中提取满足某个条件的url地址，发送给引擎，同时能够指定callback函数。 1. 创建项目 scrapy startproject myspiderproject 2. 创建crawlSpider 爬虫 scrapy genspider - 阅读全文

摘要： 案例1 ：（增量式爬取）京东全部图书，自己可以扩展 爬取每一本电子书的评论 1.spider: # -*- coding: utf-8 -*- import scrapy from copy import deepcopy import json import urllib class JdSpid 阅读全文

摘要： 安装scrapy-redis pip install scrapy-redis 从GitHub 上拷贝源码： clone github scrapy-redis源码文件 git clone https://github.com/rolando/scrapy-redis.git scrapy-redi 阅读全文

摘要： 由于Django是动态网站，所有每次请求均会去数据进行相应的操作，当程序访问量大时，耗时必然会更加明显， 最简单解决方式是使用：缓存，缓存将一个某个views的返回值保存至内存或者memcache中，5分钟内再有人来访问时， 则不再去执行view中的操作，而是直接从内存或者Redis中之前缓存的内容 阅读全文

摘要： 简介 redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多， 包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。 这些数据类型都支持push/pop、add/remo 阅读全文

摘要： 安装 window系统的redis是微软团队根据官方的linux版本高仿的 官方原版: https://redis.io/ 中文官网:http://www.redis.cn 下载地址： https://github.com/MicrosoftArchive/redis/releases 下载上面的z 阅读全文

摘要： 系统环境变量的设置 以nginx为例： 方式一： ~/.bash_profile 这是个人的 方式二： 1. 创建用户和设置密码 参考：https://www.cnblogs.com/tiger666/articles/10259192.html 查看所有用户信息： 查找某个用户： 2.修改命令提示 阅读全文

摘要： 一、安装gcc 一、安装gcc # yum -y install gcc 二、安装libevent # wget http://www.monkey.org/~provos/libevent-2.0.12-stable.tar.gz# tar zxf libevent-2.0.12-stable.t 阅读全文

摘要： 1. centos 安装 参照：https://www.cnblogs.com/tiger666/articles/10259102.html 安装过程注意点： 1. 安装过程中的选择安装Basic Web Server 2. 网路类型选择 1. 桥接网络: 虚拟机和大家都在同一个局域网 2 . 网 阅读全文

摘要： 本文主要的目标是创建flask基本的项目架构，总体架构： 详细的项目目录结构： Flask 项目创建的过程 一.项目(students)创建初始化工作 1. 创建项目的虚拟环境 2 . 在项目虚拟环境中安装开发中使用的依赖模块 3. 创建大致的目录结构 在项目目录下d:/deng/flaskLear 阅读全文