摘要：
Scrapy框架的架构如下图 具体部分说明： Engine：引擎，处理整个系统的数据流处理，出发事物，是整个框架的核心 Item：项目。定义了爬取结果的数据结构，爬取的数据会被赋值成该Item对象 Scheduler：调度器，接受引擎发过来的请求并将其加入队列中，在引擎再次请求的时候将请求提供给引擎 阅读全文
摘要：
一、XPath from lxml import etree html = etree.parse('html源代码',etree.HTMLPaser()) 1.节点的获取 a.html.xpath('//*') #匹配HTML中的所有节点 b.html.xapth('//li') #匹配所有的li 阅读全文
摘要：
DecisionTreeRegressor 树模型参数: 1.criterion gini(基尼系数) or entropy(信息熵) 2.splitter best or random 前者是在所有特征中找最好的切分点 后者是在部分特征中（数据量大的时候） 3.max_features None（ 阅读全文
摘要：
1.先来谈一谈loc，loc这个方法就是你有啥我就用啥，你没有的我不用，pandas对象的index，columns有什么，pd.loc[index,column],index就是pd.index的其中的一个值或者是其中几个值组成的序列，或就是pd.index，column是pd.columns中的 阅读全文
摘要：
哎呀哎哎呀 电脑的硬盘让我弄坏了，庆幸的是电脑还在保修期，要不然还要花掉我好多钱。不幸中的万幸。 博客要陆陆续续还是继续写了，感觉最近不写代码丢了好多 继续努力吧！！！！ 阅读全文
摘要：
字符串 字符串这个数据类型可以说是非常重要了。那什么是字符串？？？ 字符串是用' '(单引号)，或者 " "(双引号)给括起来的，就是字符串。还有这一种是''' '''(一对三引号)，但是如果不给他赋给一个变量名的话，表示的则是注释，所以使用三引号时一定要注意，在昨天写字典的时候也已经说过，字符串是 阅读全文
摘要：
列表 1.[1,2,3,4]就是一个列表，用户中括号括起，里面的元素用逗号隔开，同一个列表的元素类型可以相同也可以不同。列表和列表，列表和字典，列表和元组都可以进行互相嵌套。下面将不再赘述。 2.列表的增：（append，insert，extend） 区别：append()时追加，insert()时 阅读全文
摘要：
昨天写的条件分支结构与今日写的循环是编程两个最基本的也非常重要的个结构 for循环 for循环可以从一个元组（tuple），列表（list），字典（dict），集合（set），字符串（string'）中提取任何一个元素，并对其进行操作，除此之外还支持可迭代对象，这一点非常的有用。(for循环经常会与 阅读全文
摘要：
条件分支 今天写一写条件分支结构(if.....else),在其他的语言中条件分支结构其实不止有if --else--结构，还有swich语句（例如在C语言，Java语言）。但是python中只有if--else--一种条件分支 1.if结构：当if语句后面的条件为True时，执行语句体，否则跳过该 阅读全文
摘要：
恢复内容开始 1.python2.x与python3.x的区别 (1) 2.x的默认编码是ASSIC码，不支持中文 (2) 3.x的默认编码是UNICODE，支持中文 (3) 2.x版本与3.x版本是互不兼容的 (4) 3.x的语法更剑明，易学 2.32bits系统and64bits系统 支持最大的 阅读全文