摘要： 一、什么是事件？ 不同于传统的页面路径跳转追踪，事件尝试追踪用户在网站或APP上发生的每一个动作（包括浏览页面） 什么是事件 追踪或记录的用户行为或业务过程（注册账号，登录，观看视频，点赞，评论，关注等等） 事件三要素 操作（action):定义一个操作动作（如点击、拖拽） 参数/属性：参数可以是任 阅读全文

摘要： 1、cloudera 数据压缩的一般准则 一般准则 是否压缩数据以及使用何种压缩格式对性能具有重要的影响。在数据压缩上，需要考虑的最重要的两个方面是 MapReduce 作业和存储在 HBase 中的数据。在大多数情况下，每个的原则都类似。 您需要平衡压缩和解压缩数据所需的能力、读写数据所需的磁盘 阅读全文

摘要： 这是15年初，在高德负责数据挖掘团队所做的人地挖掘的一份报告，后续经过几版的迭代，应该是累计国内最全的家和公司位置挖掘，已经应用在多个产品线上。过一段时间分享下具体的实现方法。 1. 摘要 人地关系的家和公司挖掘，经过三轮迭代，融合了AMap和开放平台用户数据，挖掘出来3.32亿名用户的常驻地，家和 阅读全文

摘要： 这是我在2015年高德负责P6晋升评审为团队成员准备的要点，整理下。 1. 数据仓库难点 1.1 分布式OLAP设计与选型 传统BI 友盟,Talking Data 启明星 keylin phoniex ocean base garuda drds impala drill 框架优劣，实现方式，性能 阅读全文

摘要： 目前带着一个小组在做全面的用户画像的工作，不少同学都是第一次接触数据挖掘的工作。于是总结了一个较为简单，通用的数据挖掘工作流，也贴出作为自己的工作结果吧。数据挖掘工作流=========#### 1 收集数据收集数据一般是补充外部数据，包括采用爬虫和接口，获取，补充目前数据不足部分。Python s... 阅读全文

摘要： 长期以来，我每开个系列，只有兴趣写一篇，很难持之与恒。为了克服这个长久以来的性格弱点，以及梳理工作半年的积累。最近一个月会写两篇关于Mongo在地理大数据方面的实践和应用，一篇关于推荐系统的初期准备过程，一篇用户行为矩阵的可视化。希望能够立言为证，自我监督。1.驱动准备言归正传，前文MongoDB集群部署完毕之后，CRUD就是主要需求。NoSQL与普通关系数据库不同的是，避免采用ORM框架对数据库做操作，这样会带来明显的性能下降[1]。使用原生的Driver是一个较为合理的选择，Mongo支持的语言非常多，包括JS,Java,C,C++,Python,Scala等[2]。如果是单纯的Mongo 阅读全文

摘要： 1. 概念MongoDB作为著名的NoSQL，早已非常流行。它的地理应用也非常成熟，被foursquare用于生产环境也已经多时。本文主要记录今年6月份的一个地理产品中，使用MongoDB的过程和遇到的一些问题以及解决方案。我们在原型系统搭建时候，使用了三台机器，搭建MongoDB ReplicationSet 集群，作为地理数据库以使用。2. 集群部署2.1 硬件资源三台操作系统为CentOS 64bit version6.4的服务器，IP地址和域名192.168.2.22 mongodb0.ventlam.com192.168.2.23 mongodb1.ventlam.com192.16 阅读全文

摘要： 图论和网络科学都会涉及到大量对图的特性的统计计算，一般将与图数据相关的统计、挖掘、可视化统称为图处理。本系列文章主要希望探讨多方面的图处理理论与方法，包括图的统计性质、表示方法、计算算法、计算模型以及基于图论的数据挖掘等内容。文章只有在必要的情况下区分图和网络的概念，所以文章术语中的图与网络将混用。1.图处理引擎目前通用的图处理软件主要包括两种。一种主要基于遍历算法、实时的图数据库，如Neo4j,OrientDB,DEX, 和InfiniteGraph.另一种则是以图顶点为中心的消息传递批处理的并行引擎，如Hama,Golden Orb,Giraph, 和Pregel.前者基本都基于tinke 阅读全文