摘要:
工作之后,变得非常忙碌,常常没有时间读书。 好在住所距离公司非常近,于是我把每天不用通勤而省下来时间,多少也还读了几本,简单回顾下最近几个月读的三本非技术书籍。 《贫穷的本质》 距离此博客已经有些时日了,缘起于在中心书城数个重要位置都有摆放,并大大写着诺贝尔奖获得者著。 整本书的基础思想在于通过控制 阅读全文
摘要:
作为一个算法技术人员,学习了产品和开发的一些概念,例如MVP(minimum viable product)和敏捷开发的小步快跑。 最近在思考一个问题,为什么算法研发和上线总是那么漫长,那么不敏捷? 首先,算法研发,尤其是机器学习算法应用研发主要分为这几个部分: 方案,数据,和模型; 方案或者说业务 阅读全文
摘要:
近来读一篇Paper,研究者利用假设检验来验证两个不同消费者是否一起逛商场。 同时最近在看 G.H.韦恩堡的《数理统计初级教程》,借着这个机会,所以把假设检验梳理归纳了一下,从测量的角度。个人统计测量水平有限,错漏之处,若有大神指点,不胜感激。 一切的基础,高斯分布 所有知道数理统计的人,恐怕没有不 阅读全文
摘要:
之前讲到利用celery异步处理一些耗时或者耗资源的任务,但是近来分析数据的时候发现一个奇怪的现象,即是某些数据重复了,自然想到是异步任务重复执行了。 查阅之后发现,到如果一个任务太耗时,任务完成时间超过了broker的时间(Redis默认为一小时)则任务会被再次分配到worker. Visibil 阅读全文
摘要:
前言 做室内定位的人其实内心都明白:基于指纹方法的移动端定位,无论paper每年出来多少,距离真正的大规模应用的距离还有多么遥远。指纹采集,指纹更新,似乎在生产实践上就是不可能的难题。所有还在基于人工格网数据采集做室内定位,除了发paper就是在非常小的范围内靠投入极大的人力物力,来做小范围应用。因 阅读全文
摘要:
最近有同学联系我,也在一些群里看到有新手同学挣扎在怎么获取定位数据,不知从何下手。所以整理并开源这个基于Android的数据采集软件和基于python的KNN定位demo,算是为新手同学建立一个Baseline. Github库摸这里, 另外,我司在大力招人,GIS,定位,轨迹挖掘等相关方向可以发简 阅读全文
摘要:
之前写过一篇《CentOS 下部署Nginx+Gunicorn+Supervisor部署Flask项目》,最近对该工程的功能进行了完善,基本的功能单元测试也做了。 觉得也是时候进行一下压力测试了,所以利用Jmeter对部署到服务器的项目进行了简单的压力测试。在之前的笔记中写过,这个API的资源获取, 阅读全文
摘要:
现象: 在本地利用Flask自带的WSGI服务进行调试没有问题后,通过Gunicorn进行部署。 但是在一晚上没有访问之后,第二天再次访问会出现500(Internal error)。 原因: 通过追踪日志文件,发现是Sqlalchemy连接Mysql的断开问题 2006, "MySQL serve 阅读全文
摘要:
原本之前有一部分东西是在Windows Server,但是由于Gunicorn不支持Windows部署起来颇为麻烦。最近转战CentOS,折腾一段时间,终于简单部署成功。CentOS新手,作为一个总结和整理,错漏难免。 首先,需要明确上述几个模块各自的作用(因为以前在windows的IIS就颇为简单 阅读全文
摘要:
在为后端输出加入Redis缓存的过程中出现的问题。 在我利用Flask-restful架构的后端中,理所当然的利用装饰器marshal_with对我的返回数据进行格式化输出。 举个最简单的例子: 这样子通过GET请求则会从数据库拿到的query对象会被marshal_with装饰城json数组返回( 阅读全文