摘要：
爬取目标网站： http://www.chinanews.com/rss/rss_2.html 获取url后进入另一个页面进行数据提取 检查网页： 爬虫该页数据的逻辑： Crawlspider爬虫类： # -*- coding: utf-8 -*- import scrapy import re # 阅读全文
摘要：
爬取案例： 目标网站： url = 'http://www.chinanews.com/rss/scroll-news.xml' 页面特点： 先创建爬虫项目： 也可以查看爬虫类： 创建xmlFeed 爬虫可以用： scrapy genspider -t xmlfeed cnew chinanews. 阅读全文
摘要：
redis的发布订阅 1. 创建redis配置文件 vim /opt/redis_conf/reids-6379.conf mkdir /data/6379 redis-server redis-6379.conf # 开启redis 6379 服务端 resdis-cli -p 6379 # 进入 阅读全文
摘要：
部署django 项目 nginx +wsgi 步骤： 1. 给项目创建一个文件夹 mkdir /opt/luf 2.上传项目到linux服务器 xftp上传到服务器 上传前端项目代码和后端项目代码 3.完成python3解释器的安装 此步骤： 4 虚拟环境安装，完成virtualenvwrappe 阅读全文
摘要：
安装nginx nginx是一个开源的，支持高性能，高并发的www服务和代理服务软件。它是一个俄罗斯人lgor sysoev开发的，作者将源代码开源出来供全球使用。 nginx比apache性能改进许多，nginx占用的系统资源更少，支持更高的并发连接，有更高的访问效率。nginx不但是一个优秀的w 阅读全文
摘要：
linux下安装软件方法 1 rpm （不推荐使用） 2 yum 安装(非常方便快捷) 3 编译安装(需要自定制的时候才使用) 安装mariadb(mysql) 1 使用官方源安装mariadb vim /etc/yum.repos.d/MariaDB.repo 添加repo仓库配置内容 [mari 阅读全文
摘要：
原来的virtualenv工具使用特别麻烦，主要体现在以下几点 1 创建虚拟环境的命令太长，太难记 2 管理特别麻烦 3 进入虚拟环境需要找到这个虚拟环境的存放目录才行，如果没有统一的存放目录，很难找到 virtualenvwrapper的优点 1 创建、管理、删除虚拟环境非常方便，一条简短的命令就 阅读全文
摘要：
1. 先创建一个存放虚拟环境的目录 /opt/venl mkdir /opt/venl 2. cd 到该存放虚拟环境的目录下，并创建一个虚拟环境 virtualenv是如何创建“独立”的Python运行环境的呢？原理很简单，就是把系统Python复制一份到virtualenv的环境，用命令sourc 阅读全文
摘要：
编译安装python3.6的步骤 1.下载python3源码包 wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz 2.下载python3编译的依赖包 3.解压缩源码包 tar -zxvf Python-3.6.6.tgz 4. 阅读全文
摘要：
Tencent 招聘信息网站 创建项目 scrapy startproject Tencent 创建爬虫 scrapy genspider -t crawl tencent 1. 起始url start_url = 'https://hr.tencent.com/position.php' 在起始页 阅读全文