摘要：项目需求 本项目从impala获取到的数据为用户地理位置数据，每小时的数据量大概在8000万条，数据格式如下： 公司要求对这些用户按照聚集程度进行划分，将300米范围内用户数大于200的用户划分为一个簇，并计算这个簇的中心点和簇的边界点。 附模拟的数据：https://files.cnblogs.c 阅读全文

摘要：项目中有一处功能需求是：需要在历史数据查询页面进行查询字段的选择，然后由后台数据库动态生成对应的excel表格并下载到本地。 如果文件较小，解决办法是先将要传送的内容全生成在内存中，然后再一次性传入Response对象中； 如果文件较大时，我们可以考虑向HttpResponse传递一个迭代器，流式的 阅读全文

摘要：本项目实现了任务执行的实时进度查询 实现方式 前端websocket + 后端websocket + 后端redis订阅/发布 实现原理 任务执行后，假设用变量num标记任务执行的进度，然后将num发布为订阅的消息保存到redis队列，比如 redis_helper.public('当前任务进度为  阅读全文

摘要：前面已经将项目环境搭建好了，下面进入实战环节。这里挑选项目中涉及到的几个重要的功能模块进行讲解。 celery执行异步任务和任务管理 Celery 是一个专注于实时处理和任务调度的分布式任务队列。由于本项目进行数据分析的耗时比较长，所以采用异步方式执行任务。本项目中Broker使用redis，Res 阅读全文

摘要：在开始项目之前，假设你已了解以下知识：webpack配置、vue.js、django。这里不会教你webpack的基本配置、热更新是什么，也不会告诉你如何开始一个django项目，有需求的请百度，相关的文章已经很多了。 下面开始一步一步构建完整的项目： 1、开发环境准备 win7 x64 pytho 阅读全文

摘要：安装Anaconda的绕道 这里介绍如何在windows下安装numpy/scipy/matplotlib/pandas/scikit_learn等数据分析相关包 相关环境： win7 64位 python3.4 安装步骤： 1、pip install numpy-1.13.1+mkl-cp34-c 阅读全文

摘要：前言 最近公司要求基于公司的hadoop平台做一个关于电信移动网络的数据分析平台，整个项目需求大体分为四大功能模块：数据挖掘分析、报表数据查询、GIS地理化展示、任务监控管理。由于页面功能较复杂，所以采用前后端分离方式开发。前端采用webpack+vue+vue-router+axios技术栈，后端 阅读全文