摘要: 在数据分析和数据挖掘的过程中,我们经常需要知道个体间差异的大小,进而评价个体的相似性和类别。最常见的是数据分析中的相关分析,数据挖掘中的分 类和聚类算法,如K最近邻(KNN)和K均值(K-Means)。当然衡量个体差异的方法有很多,最近查阅了相关的资料,这里整理罗列下。 为了方便下面的解释和举例,先 阅读全文
posted @ 2016-10-10 11:25 R星月 阅读(1202) 评论(0) 推荐(0) 编辑
摘要: 原文档地址:http://kafka.apache.org/documentation.html 阅读全文
posted @ 2016-03-29 10:30 R星月 阅读(310) 评论(0) 推荐(0) 编辑
摘要: 配置文件在config/server.properties 下面的一些配置可能是你需要进行修改的。 broker.id 整数,建议根据ip区分 log.dirs kafka存放消息文件的路径, 默认/tmp/kafka-logs port broker用于接收producer消息的端口 zookee 阅读全文
posted @ 2016-03-29 10:28 R星月 阅读(1281) 评论(0) 推荐(0) 编辑
摘要: 1,下载kafka 并进行解压 http://mirrors.cnnic.cn/apache/kafka/0.8.1.1/kafka_2.9.2-0.8.1.1.tgz 2,启动Zookeeper bin/zookeeper-server-start.sh config/zookeeper.prop 阅读全文
posted @ 2016-03-29 10:20 R星月 阅读(417) 评论(0) 推荐(0) 编辑
摘要: Boosting算法是一种把若干个分类器整合为一个分类器的方法,在boosting算法产生之前,还出现过两种比较重要的将多个分类器整合 为一个分类器的方法,即boostrapping方法和bagging方法。我们先简要介绍一下bootstrapping方法和bagging方法。 1)bootstr... 阅读全文
posted @ 2016-01-02 18:07 R星月 阅读(560) 评论(0) 推荐(0) 编辑
摘要: solr 字段配置,和数据库数据索引配置 配置solr字段、 schema.xml 文件里配置 先讲解一下,里面的一些字段 1、 ... 表示类型,数据类型 不难理解上面就是配置定义solr 数据类型、上面都是solr里面的类型,那么我们也可以配置自已的数据类型, 比如:我们... 阅读全文
posted @ 2015-12-11 14:09 R星月 阅读(858) 评论(0) 推荐(0) 编辑
摘要: #!/bin/bashsource /etc/profileAPPLICATIONS_HOME="/cpic/cpicapp/cpic_analy/jars"APPLICATION_NAME="CountFoodScore.jar"SNAME=`basename $APPLICATION_NAME ... 阅读全文
posted @ 2015-12-11 14:01 R星月 阅读(240) 评论(0) 推荐(0) 编辑
摘要: #!/bin/bashsource /etc/profileAPPLICATIONS_HOME="/opt/cpic_analy"APPLICATION_NAME="MerchantClient.jar"SNAME=`basename $APPLICATION_NAME .jar`LOG_DIR="... 阅读全文
posted @ 2015-12-11 13:53 R星月 阅读(213) 评论(0) 推荐(0) 编辑
摘要: 今天先把spark的各种基本转换和动作总结下,以后有时间把各种用法放上去。1 RDD基本转换操作 map、flagMap、distinct coalesce、repartition coalesce、repartition randomSplit、... 阅读全文
posted @ 2015-12-09 15:55 R星月 阅读(1777) 评论(0) 推荐(0) 编辑
摘要: 以往都是用java运行spark的没问题,今天用scala在eclipse上运行spark的代码倒是出现了错误 ,记录首先是当我把相关的包导入好后,Run,报错:Exception in thread "main" org.apache.spark.SparkException: A master ... 阅读全文
posted @ 2015-12-09 13:24 R星月 阅读(2257) 评论(0) 推荐(0) 编辑
作者:lishaoying 出处:http://www.cnblogs.com/rxingyue 说明:本文是自己学习编程的一个历程,版权归作者和博客园共有,欢迎转载,请标明原文连接,如有问题联系我 Email:983068303@qq.com,非常感谢。

作者:lishaoying
出处:http://www.cnblogs.com/rxingyue
说明:本文是自己学习编程的一个历程,版权归作者和博客园共有,欢迎转载,请标明原文连接,如有问题联系我,非常感谢。