理想几岁

摘要： python多进程想必大部分人都用到过，可以充分利用多核CPU让代码效率更高效。 我们看看multiprocessing.pool.Pool.map的官方用法 map(func, iterable[, chunksize]) A parallel equivalent of the map() bu 阅读全文

摘要： 最近一项工作需要读取数据库中1500万条数据，考虑到数据量太大，不方便直接一次性读取，不然会内存爆炸。想到用pandas.read_sql_query()里有一个chunksize可以分批返回chunksize个数据，于是用pandas试了下，代码如下： import pandas as pd fr 阅读全文

摘要： 上一篇我们讲了docker的基本使用，掌握了前一篇，docker使用基本不成问题，但是要是你学习了Dockerfile，你会发现它使用起来有多方便了。项目最终部署时，我们希望docker容器打开时项目也随之运行，至于里面要运行什么命令才能运行起来，不是使用者该考虑的事情，光有上一篇的知识还做不到。 阅读全文

摘要： 最近公司项目要用docker部署，第一次接触，记录一下，方便使用时查阅。 你有没有遇到过这种情况，在本地运行良好的代码，在另一台电脑或者另一个环境里一堆bug，可以说是水土不服，本质上是两个电脑的运行环境不一样，但是不能每次给到别人都要装一遍运行环境吧，这样很抓狂，这时候docker就横空出世来拯救 阅读全文

摘要： 今天看到LDA主题模型，里面涉及到共轭分布，在此总结一下。 共轭分布(conjugate distribution)的概率中一共涉及到三个分布：先验、似然和后验，如果由先验分布和似然分布所确定的后验分布与该先验分布属于同一种类型的分布，则该先验分布为似然分布的共轭分布，也称为共轭先验。 比较绕嘴，下 阅读全文

摘要： 极大似然估计学习时总会觉得有点不可思议，为什么可以这么做，什么情况才可以用极大似然估计。本文旨在通俗理解MLE(Maximum Likelihood Estimate)。 一、极大似然估计的思想与举例 举个简单的栗子：在一个盒子里有白色黑色小球若干个，每次有放回地从里面哪一个球，已知抽到白球的概率可 阅读全文

摘要： 无论是利用模型对信用申请人进行违约识别，还是对授信申请人进行逾期识别……在各种各样的统计建模中，永远必不可少的一步是对模型的评价，这样我们就可以根据模型评价指标的取值高低，来决定选取哪个模型。本篇主要讲述一下ROC曲线和K-S曲线的区别和联系。 以二分类问题为例，模型输出会出现四种情况： 我们最关心 阅读全文

摘要： 官网链接：https://www.tensorflow.org/api_docs/python/tf/estimator/Estimator Estimator - 一种可极大地简化机器学习编程的高阶 TensorFlow API。Estimator 会封装下列操作： 训练 评估 预测 导出以供使用 阅读全文

摘要： 关于Tensorflow读取数据，官网给出了三种方法： 供给数据(Feeding)： 在TensorFlow程序运行的每一步， 让Python代码来供给数据。 从文件读取数据： 在TensorFlow图的起始， 让一个输入管线从文件中读取数据。 预加载数据： 在TensorFlow图中定义常量或变量 阅读全文

摘要： 电脑里安装了多种常用数据库，但是又不会经常都用到，所以没有设置开机启动，但是时间长了经常忘记启动命令，这里总结一下，以便忘记是随时查看。 一、mongoDB1、首先开启mongo数据库服务，mongod，它需要一直在后台运行才可以保证数据库连接正常。 2、然后就可以在终端启动mongo了，也可以用可 阅读全文