文章分类 - 云计算
云计算
摘要：ElasticSearch的应用场景和优势，包括： 日志实时分析 搜索服务 数据分析 数据监控 查询服务 后端存储 日志分析 这个应用场景应该非常常见，日志分析，对于线上业务比较频繁的情况。 使用elk对数据进行分析采集和处理。 这个是 ES 应用最广泛的领域，支持全栈的日志分析，包括各种应用日志、
阅读全文
摘要：引言何为大矩阵？Excel、SPSS，甚至SAS处理不了或者处理起来非常困难，需要设计巧妙的分布式方法才能高效解决基本运算（如转置、加法、乘法、求逆）的矩阵，我们认为其可被称为大矩阵。这意味着此种矩阵的维度至少是百万级的、经常是千万级的、有时是亿万级的。举个形象的栗子。至2012年12月底，新浪微博注册用户数超5亿，日活跃用户4629万[1]，如果我们要探索这4000多万用户可以分成哪些类别，以便深入了解用户共同特征，制定精准营销策略，势必要用到聚类相关的算法（比如新浪大牛张俊林就利用聚类算法来挖掘新浪微博中的兴趣圈子[2]），而聚类算法都需要构造用户两两之间的关系，形成n*n的矩阵，称为相似
阅读全文
摘要：最近开始学习Hadoop，hadoop 的新版本为了能和各个eclipse 的版本兼容，因此只提供了源代码，开发人员需要手动编译。 hadoop eclipse 插件的源代码位于$HADOOP_HOME/src/contrib/eclipse-plugin 下面。 如果只想单独编译hadoop 的ecliose 插件那么需要修改该目录下面的build.xml 文件 下面是我的一个配置文件，大家可以根据自己的环境修改，编译过程需要用到eclipse的目录以及hadoop的lib下面的相关jar文件，所以需要在此配置，注意改成你的hadoop所对应的版本。 Xml代码01020304...
阅读全文
