摘要： 机器学习建模介绍： ①分类②回归③聚类④时序分析（不常用） 1，分类： 应用：人脸识别、垃圾邮件检测、信用卡申请人风险评估等 原理： 1）将数据映射到预先定义的类 2）把具有某些特征的数据项映射到给定的某个类别上 我们需要通过学习出分类的边界 如上图，通过机器的学习确定边界，将新事物放在此维度中，来 阅读全文

摘要： Matplotlib的基本元素： 1，变量 2，函数 3，画布（figure） 4，坐标轴（axes） 绘图过程：变量和函数通过改变figure和axes中的元素（如：title，label）一起描述figure和axes Matplotlib的图像位于figure对象中 通过plt.figure( 阅读全文

摘要： 1，函数应用 ①map() 将函数作用于一个Series的每一个函数（不能是DataFrame） 类似于Python的高阶函数map() 函数可以是Numpy中的通用函数，也可以是自定义函数 优点：代码简介，效率高，不用循环 自定义函数传的是函数名 ②apply和applymap 通过apply() 阅读全文

摘要： 在具体谈及骚操作之前先捋一遍基本的统计特征函数 首先是df.mean() df["satisfaction_level"].mean() df.quantile(q=0.25) 基本方法就先演示这几个 骚操作一： shift方法： 首先通过df.shift?方法来了解一下 可以知道periods参数 阅读全文

摘要： 可以看到的是 ①pandas会自动帮我们做好了填充，非常方便，但是这也是一个容易出错的点 ②默认会生成默认索引 ③这种方式是以列的形式赋值 pandas的数据结构： Pandas的基本数据结构是Series和DataFrame，顾名思义，Series就是序列，类似一维数组 DataFrame则是相当 阅读全文

摘要： 先看一个示例： 运行如下： 首先贾维斯运行了两次 为什么呢？ 虽然fork了子进程，但是主进程依然会继续执行，子进程会将主进程的所有数据全部拷贝到子进程中去，包括代码的运行。所以进程之间的数据是完全的隔离的 一定要注意，在Windows下面一定需要在if __name__ == "__main__" 阅读全文

摘要： 每一次运行的结果都会不一样，所以有GIL的python线程也不是安全的，但是python遇到io操作的话，会等到io操作时候主动释放GIL, 2，多线程编程 ①对于io操作来说，多线程和多进程性能差别不大 方式1： 通过Thread类来实例化 运行时间居然是0，两个线程并行时间不应该是2秒吗？其实实 阅读全文

摘要： 面对众多动态网站比如说淘宝等，一般情况下用selenium最好 那么如何集成selenium到scrapy中呢？ 因为每一次request的请求都要经过中间件，所以写在中间件中最为合适 注意别忘了 将中间件写入到settings中！ 是不是可以优化的空间了呢？ 每一次请求都要打开一次Chrome，这 阅读全文

摘要： 先看一个栗子： 生成器函数这个对象是是什么时候产生的呢？是python编译字节码的时候就产生了， 既然是生成器对象，那么一定可以使用for循环进行遍历，并且yield可以多次 yield的特性：惰性求值， 延迟求值提供了可能 斐波那契数列的经典举例： 这样虽然可以做出来，但是没有具体的过程，那改进一 阅读全文

摘要： 为啥不在可迭代对象写迭代器呢？这个是一个编程规范 阅读全文