随笔 - 383  文章 - 0  评论 - 0  阅读 - 35125 
10 2018 档案
调度工具Airflow
摘要:1. 什么是Airflow Airflow是Airbnb开源的data pipeline调度和监控工作流的平台,用于用来创建、监控和调整data pipeline(ETL)。 2. 简单的定时任务cron 假设我们想要定时调用一个程序,比如说:每天定时从W... 阅读全文
posted @ 2018-10-27 13:47 xieyan0811 阅读(85) 评论(0) 推荐(0) 编辑
机器学习之_逻辑回归
摘要:逻辑回归又称logistic回归,逻辑斯谛回归,是一种广义的线性回归分析模型。 1. Sigmod函数 Sigmoid函数也是神经网络中常用的函数,用于把x从负无穷到正无穷压缩到y从0到1之间。画出来就是一条S型曲线,如下图中的蓝色曲线: 它以0点为中心... 阅读全文
posted @ 2018-10-13 13:10 xieyan0811 阅读(91) 评论(0) 推荐(0) 编辑
Xgboost之增量学习
摘要:1. 说明 当我们的训练数据非常多,并且还在不断增加时,每次都用全量训练,数据过多,时间过长,此时就可以使用增量训练:用新增的数据微调校正模型。 2. 全量与增量的差异 在使用增量训练时,最关心的问题是:全量和增量的差别,从而确定增量训练的使用场景。 假... 阅读全文
posted @ 2018-10-06 10:02 xieyan0811 阅读(359) 评论(0) 推荐(0) 编辑
Xgboost调试方法
摘要:1. 调试test目录下的测试用例 在测试程序后面加入以下代码,即可启动调试程序 if __name__ == "__main__": unittest.main() 2. 显示树结构 import matplotlib.pyplot as plt f... 阅读全文
posted @ 2018-10-06 10:01 xieyan0811 阅读(46) 评论(0) 推荐(0) 编辑
Python的Debug工具
摘要:1. 命令行使用pdb (1) 我们先写个简单的python程序a.py如下: for i in range(0,3): print(i) print("@@@@") print("###") (2) 用pdb调试 $ pdb a.py #... 阅读全文
posted @ 2018-10-04 16:11 xieyan0811 阅读(39) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示