不再悲伤

摘要： (对最小二乘法和梯度下降的一些区别的理解： 1.最小二乘法可以直接求全局最优解 梯度下降法是一种迭代的求解局部最优解的方法 2.最小二乘法没有“优化”，只有“求解”。算是一个确定性问题。而梯度下降，涉及迭代获取最优解，才算是“优化”。) 1.梯度定义 在微积分里面，对多元函数的参数求∂偏导数，把求得 阅读全文

摘要： 一、线性回归 在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这 阅读全文

摘要： import threading import requests from lxml import etree import time import os from queue import Queue #引入队列消除线程执行过程的无序性 和上锁解锁机制一样 的作用 #先用os模块创建一个文件夹 name = os.getcwd() file = name + os.sep + '斗图啦... 阅读全文

摘要： 一。问题，就是我的callback没得回调函数 二：然后我查看源代码，发现： 三。我把解析页数的函数名设置为，def parse(self,response): 就没保错了 能运行成功 总结：在spider的_init_.py文件的源代码下 设置了定义的parse()函数有callback这个能定义 阅读全文

摘要： requests.exceptions.SSLError: HTTPSConnectionPool(host='www.baidu.com', port=443): Max retries exceeded with url: / (Caused by SSLError(SSLError(1, u' 阅读全文

摘要： 我发现文件直接用requests.get(url)会提示我AttributeError: module 'requests' has no attribute 'get' 我把问题百度了一下，解决方法是： python源文件与关键字重名了。 1. 命名py脚本时，不要与python预留字，模块名等相 阅读全文

摘要： 先来看个例子： args = (1, 2, 3, 4) kwargs = {} args = () kwargs = {'a': 1, 'c': 3, 'b': 2} args = (1, 2, 3, 4) kwargs = {'a': 1, 'c': 3, 'b': 2} args = ('a', 阅读全文

摘要： 一.原因： 由于pycharm中没有scrapy的一个模板，所有没办法直接在scrapy文件中调试，所有我们需要写一个自己的main.py文件，在文件里面调用命令行，来实现scrapy的一个调试。（在scrapy中可以调试，可以让我们的开发效率高） 二.注意点： 字爬虫文件中设置断点，但是需要在自己 阅读全文

摘要： 一.安装 conda install Scrapy ：之后在按y 表示允许安装相关的依赖库（下载速度慢的话也可以借助镜像源），安装的前提是安装了anaconda作为python ， 测试scrapy是否安装成功,在窗口输入scrapy回车 注意：我这是之前安装了anaconda 所以能直接这样下载 阅读全文

摘要： 2018-08--4爬取金色财经网页 网址：https://www.jinse.com/search/EOS 第一步：我观察了网页；发现了网页是一个发送ajax请求的网页，发现如下： 然后 我就先爬取第一次请求出来的信息，剩下的请求可以经过比较每次请求的参数的变化来做比较，从而发现规律。 第二步：我 阅读全文