随笔 - 383
文章 - 0
评论 - 0
阅读 -
35125
10 2018 档案
调度工具Airflow
摘要:1. 什么是Airflow Airflow是Airbnb开源的data pipeline调度和监控工作流的平台,用于用来创建、监控和调整data pipeline(ETL)。 2. 简单的定时任务cron 假设我们想要定时调用一个程序,比如说:每天定时从W...
阅读全文
机器学习之_逻辑回归
摘要:逻辑回归又称logistic回归,逻辑斯谛回归,是一种广义的线性回归分析模型。 1. Sigmod函数 Sigmoid函数也是神经网络中常用的函数,用于把x从负无穷到正无穷压缩到y从0到1之间。画出来就是一条S型曲线,如下图中的蓝色曲线: 它以0点为中心...
阅读全文
Xgboost之增量学习
摘要:1. 说明 当我们的训练数据非常多,并且还在不断增加时,每次都用全量训练,数据过多,时间过长,此时就可以使用增量训练:用新增的数据微调校正模型。 2. 全量与增量的差异 在使用增量训练时,最关心的问题是:全量和增量的差别,从而确定增量训练的使用场景。 假...
阅读全文
Xgboost调试方法
摘要:1. 调试test目录下的测试用例 在测试程序后面加入以下代码,即可启动调试程序 if __name__ == "__main__": unittest.main() 2. 显示树结构 import matplotlib.pyplot as plt f...
阅读全文
Python的Debug工具
摘要:1. 命令行使用pdb (1) 我们先写个简单的python程序a.py如下: for i in range(0,3): print(i) print("@@@@") print("###") (2) 用pdb调试 $ pdb a.py #...
阅读全文