摘要：
数据分析应用是真正能够直接解决企业问题的，是显露在外可以直接观察的部分，但是在这之下有很大部分支撑数据分析应用的就是数据管理技术。数据分析应用需要一整套的处理和加工过程，数据就是原材料，需要把数据有序地存储和管理起来。然后是数据的整理、清洗、集成，这个过程主要由数据工程师（DataEngineer） 阅读全文
posted @ 2017-08-09 23:24 天戈朱 阅读(478) 评论(0) 推荐(0) 编辑
摘要：
基于划分方法聚类算法R包： K-均值聚类（K-means） stats::kmeans()、fpc::kmeansruns() K-中心点聚类（K-Medoids） cluster::pam() 、fpc::pamk() 层次聚类 stats::hclust()、BIRCH、CURE 密度聚类 fp 阅读全文
posted @ 2017-08-08 06:03 天戈朱 阅读(1294) 评论(0) 推荐(0) 编辑
摘要：
##检查数据的维度 dim(iris) ##显示数据集的内部结构 str(iris) ##显示数据集的属性 attributes(iris) ##显示数据集中每个变量的分布情况 summary(iris) ##显示iris数据集列Species中各个值出现频次 table(iris$Species) 阅读全文
posted @ 2017-08-08 06:03 天戈朱 阅读(482) 评论(0) 推荐(0) 编辑
摘要：
聚类分析是一种重要的人类行为，早在孩提时代，一个人就通过不断改进下意识中的聚类模式来学会如何区分猫狗、动物植物。目前在许多领域都得到了广泛的研究和成功的应用，如用于模式识别、数据分析、图像处理、市场研究、客户分割、Web文档分类等。 聚类就是按照某个特定标准(如距离准则)把一个数据集分割成不同的类或 阅读全文
posted @ 2017-08-08 06:00 天戈朱 阅读(1660) 评论(0) 推荐(0) 编辑
摘要：
发展形势 当前全球信息化发展面临的环境、条件和内涵正发生深刻变化。从国际看，世界经济在深度调整中曲折复苏、增长乏力，全球贸易持续低迷，劳动人口数量增长放缓，资源环境约束日益趋紧，局部地区地缘博弈更加激烈，全球性问题和挑战不断增加，人类社会对信息化发展的迫切需求达到前所未有的程度。同时，全球信息化进入 阅读全文
posted @ 2017-08-03 08:44 天戈朱 阅读(2274) 评论(0) 推荐(0) 编辑
摘要：
谈到大数据，大家首先想到的肯定是Hadoop，近年来互联网技术的快速增长催生了各类大体量数据的爆发，Hadoop最大的贡献在于帮助企业将那些低价值的事件流数据转化为高价值的聚合数据，为企业的经营决策提供数据支撑。但Hadoop擅长的是存储和获取大规模数据，但是它并不提供任何性能上的保证。从这个角度来 阅读全文
posted @ 2017-07-16 14:37 天戈朱 阅读(5752) 评论(1) 推荐(0) 编辑
摘要：
分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析的过程，与MapReduce一样是一种通用计算框架，期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。DAG是任务链的图形化表示，用它来描述流处理作业的拓扑。在选择不同的流处理系统时，通常会关注以下几点： 运行时和编程模型：平台 阅读全文
posted @ 2017-07-05 23:36 天戈朱 阅读(11916) 评论(0) 推荐(1) 编辑
摘要：
前面的两篇文章介绍了geohash的基本原理及c#代码相关实现，其中geohash 5位编码单个网格覆盖面积大约在24平方千米，6位编码单网格覆盖面大约在0.73平方千米， 相邻编码长度之间单网格覆盖面积跨度太大，在实际应用中希望计算出3平方千米、5平方千米、10平方千米的覆盖率，可行的方案在Geo 阅读全文
posted @ 2017-06-07 06:42 天戈朱 阅读(5644) 评论(4) 推荐(0) 编辑