摘要：
Setting.py: 需要设置item pipeline和请求头即可， (1) 去掉item_pipeline的注释，其作用是指定数据入库的函数，即scrapy在执行数据存储的时候使用哪一个类对象实现存储。 (2)还要设置请求头，即DEFAULT_REQUESTS_HEADERS去掉注释 user 阅读全文
摘要：
一、基础知识 1.网络爬虫 （1）爬虫的分类 通用网络爬虫：又称全网爬虫，常见的有百度和Google等搜索引擎，爬行对象从一些初始URL扩充到整个网络，主要为门户站点搜索引擎和大型网站服务采集数据，这在网络上通常称为搜索引擎 聚焦网络爬虫、增量式网络爬虫、深层网络爬虫：这类爬虫比较有目的，也就是网络 阅读全文
摘要：
一、常见基础错误 1、for i in len(a): TypeError: 'int' object is not iterable for循环中的递增迭代：对于数组的索引迭代，需要用到len（）求数组的长度，用range进行索引迭代。 for i in len(a):在这句循环的时候，本来我的意 阅读全文
摘要：
一、细碎算法 1、数组：一个二维数组，每一行按照从左到右递增的顺序排序，每一列都按照从上到下递增的顺序排序， 判断一个整数是否包含着在这个数组中？ 可以采用删减法来减少查找的范围，从左下角或者右上角的地方开始，寻找某个数，若从右上角开始寻找，则当数组中的这个数大于寻找的数时，应该列向值小的一方移动， 阅读全文
摘要：
一、基础知识 1、Python中的None是一个特殊的常量。 None和False不同。 None不是0。 None不是空字符串。 None和任何其他的数据类型比较永远返回False。 None有自己的数据类型NoneType。 你可以将None复制给任何变量，但是你不能创建其他NoneType对象 阅读全文
摘要：
数学问题 一、移位 1、什么样的数据类型可以直接移位 char、short、int、long、unsigned char、unsigned short、unsigned int、unsigned long都可以进行移位操作，而double、float、bool、long double则不可以进行移位 阅读全文
摘要：
一、运算符详解 在进行对象之间的运算时，程序会调用与运算符相对应的函数进行处理，所以运算符重载有两种方式：成员函数和友元函数。成员函数的形式比较简单，就是在类里面定义了一个与操作符相关的函数。友元函数因为没有this指针，所以形参会多一个。 两种重载方式的比较： 一般情况下，单目运算符最好重载为类的 阅读全文
摘要：
1. #include <algorithm> @ distance(地址，地址)，返回为整型，为两个地址之间的距离 @ find(start,end,value): 可以是容器，也可以是数组，找到：返回区间里面（first，end）中的第一个值为value元素的地址，没有找到：返回终点后一位的地址 阅读全文
摘要：
1. 在判断两个浮点数a和b是否相等时，不要用a==b，应该使用阈值，如abs(a-b)<1e-9； 2. 判断一个整数是否为奇数，用x%2!=0，不要用x%2==1，因为x可能为负数,-1%2=-1; 3.vector和string优先于动态分配的数组：（1）在性能上，vector能够保证连续的内 阅读全文