摘要：
前言 当前手机使用成为互联网主流，每天手机App产生大量数据，学习爬虫的人也不能只会爬取网页数据，我们需要学习如何从手机 APP 中获取数据，本文就以豆果美食为例，讲诉爬取手机App的流程 环境准备 python3 fiddler 一款支持桥接模式的安卓虚拟机（本文使用夜神模拟器） 需要准备的知识有 阅读全文
摘要：
json JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，易于人阅读和编写。 json是我们在制作爬虫时非常常见的网络对象，本文就列举python对于json的基本操作。 json函数 使用json函数首先要导入 json 库 即 import json 阅读全文
摘要：
前言 Scrapy那么多模块都是怎么结合的啊？明明在chrome上的xpath helper插件写好了xpath，为什么到程序就读取的是None？Scrapy可以直接写多层response么？难道必须再使用requests库？？ 没关系，这篇文章一站式解答scrapy常见的坑 Scrapy各部分运行 阅读全文
摘要：
Scrapy 官方介绍是 An open source and collaborative framework for extracting the data you need from websites. In a fast, simple, yet extensible way. 意思就是 一个 阅读全文
摘要：
写在最前 程序是为人类服务的，最近正好身边小伙伴们在做球衣生意，当然是去nikenba专区购买了，可是有些热门球衣发布几分钟就被抢完，有些折扣球衣也是很快就被抢售一空，那么我们只能靠自己的眼睛一直盯着网站吗？NoNoNo，作为计算机专业的学生，怎么能为这种事情浪费时间呢？那肯定想法就是写爬虫自动比对 阅读全文
摘要：
正则表达式 什么是正则表达式？ 正则表达式是对字符串（包括普通字符（例如，a 到 z 之间的字母）和特殊字符（称为“元字符”））操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。正则表达式是一种文本模式 阅读全文
摘要：
Requests python的request库官方介绍就是让HTTP服务人类，所以从这点我们就可以知道request库是为了让我们更加方便的进行http相关的各种操作 我们学习request有什么用呢？ 1）web时代我们需要熟悉掌握web交互原理 2）爬虫 3）服务器编程 4）自动化测试 实验环 阅读全文
摘要：
NETCAT netcat是Linux常用的网络工具之一，它能通过TCP和UDP在网络中读写数据，通过与其他工具结合和重定向，可以在脚本中以多种方式使用它。 netcat所做的就是在两台电脑之间建立链接并返回两个数据流，我们可以建立一个服务器，传输文件，与朋友聊天，传输流媒体或者用它作为其它协议的独 阅读全文
摘要：
多命令语句 Linux中我们在shell输入命令一般是一条一条执行，但是我们同样可以用一行语句写出多命令，下面就举出几个常见的方法 “;”分号用法 方式：command1 ; command2 用;号隔开每个命令, 每个命令按照从左到右的顺序,顺序执行， 彼此之间不关心是否失败， 所有命令都会执行。 阅读全文
摘要：
pyinstaller 我们在平常学习使用python的时候经常会自己编写一些小程序来使用，虽然python是跨平台的语言，但是如果我们想要在一个没有python以及很多库环境的电脑上使用我们的小程序该怎么办呢？ 我们想到，在Windows平台可以将程序打包成exe可执行文件，这样就可以放进U盘或者 阅读全文