[置顶] 基于spark Mllib(ML)聚类实战
摘要： 写在前面的话：由于spark2.0.0之后ML中才包括LDA,GaussianMixture 模型，这里k-means用的是ML模块做测试，LDA,GaussianMixture 则用的是MLlib模块 数据资料下载网站，大力推荐！！！ http://archive.ics.uci.edu/ml/d 阅读全文
posted @ 2016-08-08 18:05 柯南君 阅读(8133) 评论(0) 推荐(2) 编辑
[置顶] 如何在windows下安装配置pyspark notebook
摘要： 第一步：安装anaconda anaconda自带一系列科学计算包 下载链接：http://pan.baidu.com/s/1b4jWlg 密码：fqq3 接着配置环境变量：如我安装在D盘下 试一下命令行启动，确保ipython从anaconda启动 第二步：安装spark（需要提前安装JDK） 到 阅读全文
posted @ 2016-08-05 11:18 柯南君 阅读(6462) 评论(0) 推荐(0) 编辑
2016年10月9日
spark集群配置细则总结
摘要： 修改目录与目录组： sudo chown -R hadoop:hadoop spark-1.6.1-bin-hadoop2.6 sudo chown -R hadoop:hadoop jdk1.8.0_101 sudo chown -R hadoop:hadoop scala2.11.6 1./et 阅读全文
posted @ 2016-10-09 15:32 柯南君 阅读(3733) 评论(0) 推荐(0) 编辑
2016年8月22日
Linux最常用命令实战
摘要： 1.改变机器的名称： vim /etc/hostname Master 在文件中修改机器名称为我们想要的名称（相当于域名） 可以通过shutdown -h now 关闭 2.查看当前机器IP： ifconfig 3.vim /etc/hosts 127.0.0.1 localhost 建立ip与域名 阅读全文
posted @ 2016-08-22 18:03 柯南君 阅读(509) 评论(0) 推荐(0) 编辑
2016年8月17日
基于mllib的协同过滤实战（电影推荐）
摘要： //某个人评分数据 //拆分训练集，校验集，测试集(ratings是(Int,Rating)格式，取values即可) 阅读全文
posted @ 2016-08-17 11:56 柯南君 阅读(440) 评论(1) 推荐(1) 编辑
2016年8月16日
ubuntu下JDK安装（更新旧版本JAVA）
摘要： 1.sudo apt-get install openjdk-8-jre openjdk-8-jdk 2.默认会安装在 路径为 /usr/lib/jvm/java-7-openjdk-amd64 下面 3。配置环境变量 vim ~/.bashrc export JAVA_HOME = /usr/li 阅读全文
posted @ 2016-08-16 21:46 柯南君 阅读(4045) 评论(0) 推荐(0) 编辑