宋讼颂

摘要： #!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/9/26 10:26 # @Author : Sa.Song # @Desc : 抓取崔庆才微博， 模拟ajax请求 # @File : weiBo.py # @Software: PyCharm import requests from urllib.... 阅读全文

摘要： 首先分清楚nohup与&： &是指在后台运行一般在执行命令后，都会显式的在前台执行，当Ctrl+C后进程回宕掉，但是 在命令后加&,即使Ctrl+C，程序还在进行，但是，当关闭Xshell后，程序就会宕掉。 nohup是指忽略SiGHUP信号，当关掉Xshell后，程序会一直存在，但是当执行Ctrl 阅读全文

摘要： urllib库是python3的内置HTTP请求库。 ython2中urllib分为 urllib2、urllib两个库来发送请求，但是在python3中只有一个urllib库，方便了许多。 urllib库官方文档地址：https://docs.python.org/3/library/urllib 阅读全文

摘要： 系统：centos7.4 安装scrapyd：pip isntall scrapyd 因为我腾讯云上是python2与python3并存的 所以我执行的命令是：pip3 isntall scrapyd 安装后新建一个配置文件： sudo mkdir /etc/scrapyd sudo vim /et 阅读全文

摘要： 这段时间在做scrapy爬虫，对爬出来的数据基于Django做了统计与可视化，本想部署在腾讯云上玩玩，但是因为以前没有经验遇到了一些问题，在这里记录一下： 首先说下Django的创建与配置： 1. 创建Django项目： 无论想要将项目创建在哪个文件夹下，都只需要cd到制定的文件夹下执行该命令即可： 阅读全文

摘要： 1. XPath (XML Path Language) XML路径语言 2. XPath 常用规则: nodename 选取此节点的所有子节点 / 从当前结点选取直接子节点 // 从当前结点选取子孙节点 . 选取当前结点 .. 选取当前结点的父节点 @ 选取属性 3. 实例 也可以读取文件来进行解 阅读全文

摘要： 阅读全文

摘要： 刚刚接触爬虫，基础的东西得时时回顾才行，这么全面的帖子无论如何也得厚着脸皮转过来啊！ 原帖地址：https://www.2cto.com/kf/201801/714859.html 什么是 Urllib 库？ urllib 库 是 Python 内置的 HTTP 请求库。urllib 模块提供的上层 阅读全文

摘要： 很全面的一篇介绍HTTP协议的文章，粘过来供我以后时时回顾。 原文地址：https://www.cnblogs.com/ranyonsue/p/5984001.html#commentform HTTP简介 HTTP协议是Hyper Text Transfer Protocol（超文本传输协议）的缩 阅读全文

摘要： import threading,time event = threading.Event() #生成一个事件 （有标志位就执行，没标志位就等待） def light(): count = 0 event.set() #设置了标志位，不等待 所以是绿灯 while True: if count > 4 and count 10: ... 阅读全文