摘要：
首先自己想要的item： 1 import scrapy 2 3 4 class WeiboItem(scrapy.Item): 5 6 rank = scrapy.Field() 7 title = scrapy.Field() 8 hot_totle = scrapy.Field() 9 tag 阅读全文
摘要：
如果是取到 series类型的，比如 直接用series构造的 或者从DataFrame ['columns_name'] 都可以 .str. 方法（） 常用： len（） 计算字符串长度 strip() 两侧删除空格，换行符 split(’ ') 用给定的来分隔里面的元素 阅读全文
摘要：
1. 序列（sequence） 1.1 基本概念 序列是Python中最基本的⼀种数据结构。序列⽤于保存⼀组有序的数据，所 有的数据在序列当中都有⼀个唯⼀的位置（索引）并且序列中的数据会按照添加的顺序来分配索引 数据结构指计算机中数据存储的⽅式 1.2 序列的分类 可变序列（序列中的元素可以改变）： 阅读全文
摘要：
1. urllib.request模块 1.1 版本 python2 ：urllib2、urllib python3 ：把urllib和urllib2合并,urllib.request 1.2 常用的方法 urllib.request.urlopen("URL") 作用 ：向网站发起一个请求并获取响 阅读全文
摘要：
1. 条件判断语句(if语句) 执⾏的流程： if语句在执⾏时，会先对条件表达式进⾏求值判断， 如果为True，则执⾏if后的语句 如果为False，则不执⾏ 语法：if 条件表达式 : 代码块 代码块代码块中保存着⼀组代码，同⼀个代码块中的代码，要么都执⾏要么 都不执⾏ 代码块以缩进开始，直到代码 阅读全文
摘要：
1.通讯协议 1.1 端口 我们想要进行数据通讯分几步? 1. 找到对方ip 2. 数据要发送到对方指定的应用程序上。为了标识这些应用程序,所以给这些网络应用程序都用数字进行了标识。为了方便称呼这个数字,叫做 端口。这里的端口 我们一般都叫做 '逻辑端口' 3. 定义通讯规则。这个通讯规则我们一般称 阅读全文
摘要：
1. 运算符 1.1 运算符的概念 运算符⽤于执⾏程序代码运算，会针对⼀个以上操作数项⽬来进⾏运算。例 如：2+3，其操作数是2和3，⽽运算符则是“+” 1.2 运算符的分类 算术运算符 赋值运算符 ⽐较运算符（关系运算符） 逻辑运算符 条件运算符（三元运算符） 2. 算术运算符 加法运算符 表现形 阅读全文
摘要：
现在使用 雪球网 对股票的各项数值进行爬取 雪球网中爬取的信息存储比较奇怪，需提取 其中字典，在这里使用提取沪市的部分股票为例，由于雪球网的数据基本可通过 关键词搜索 索引+1 来获取，所以在这里我就用简易XPath 注意：之前选择正则取数据有坑，因为其数据的text分布不同，所以最好用查找关键词的 阅读全文