上一页 1 2 3 4 5 6 7 8 ··· 12 下一页
2017年12月15日
Spark RDD 到 LabelPoint的转换(包含构造临时数据的方法)
摘要： 题目: 将数据的某个特征作为label, 其他特征(或其他某几个特征)作为Feature, 转为LabelPoint 参考: http://www.it1352.com/220642.html 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 得到 阅读全文
posted @ 2017-12-15 17:41 一片黑 阅读(2124) 评论(0) 推荐(0) 编辑
Spark mllib 随机森林算法的简单应用（附代码）
摘要： 此前用自己实现的随机森林算法，应用在titanic生还者预测的数据集上。事实上，有很多开源的算法包供我们使用。无论是本地的机器学习算法包sklearn 还是分布式的spark mllib，都是非常不错的选择。 Spark是目前比较流行的分布式计算解决方案，同时支持集群模式和本地单机模式。由于其通过s 阅读全文
posted @ 2017-12-15 17:39 一片黑 阅读(2490) 评论(0) 推荐(0) 编辑
Spark机器学习MLlib系列１（for python）－－数据类型，向量，分布式矩阵，API
摘要： Spark机器学习MLlib系列１（for python）－－数据类型，向量，分布式矩阵，API 关键词：Local vector，Labeled point，Local matrix，Distributed matrix，RowMatrix，IndexedRowMatrix，CoordinateM 阅读全文
posted @ 2017-12-15 15:15 一片黑 阅读(716) 评论(0) 推荐(0) 编辑
hadoop各版本下载地址
摘要： http://mirror.bit.edu.cn/apache/hadoop/common/ 阅读全文
posted @ 2017-12-15 11:23 一片黑 阅读(794) 评论(0) 推荐(0) 编辑
2017年12月13日
BUG----spark
摘要： 我也想说很尴尬， 搞到显现 发现 原来是个版本的bug spark 1.6.0 有个BUG 希望更多人看到 Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/Users/jzhang/githu 阅读全文
posted @ 2017-12-13 20:27 一片黑 阅读(642) 评论(0) 推荐(0) 编辑
2017年12月12日
pip 安装包 不行 自己下载whl 包自己安装
摘要： https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 阅读全文
posted @ 2017-12-12 14:41 一片黑 阅读(1740) 评论(0) 推荐(0) 编辑
Windows环境下 Hadoop Error: JAVA_HOME is incorrectly set. 问题
摘要： 最近尝试在windows开发MR程序并且提交Job，在解压缩好hadoop，配置好环境变量后， 打开cmd 输入hadoop version 的时候出现以下错误： Error: JAVA_HOME is incorrectly set. Please update F:\hadoop\conf\ha 阅读全文
posted @ 2017-12-12 12:49 一片黑 阅读(7027) 评论(1) 推荐(1) 编辑
Windows 下Hadoop的环境变量配置
摘要： 一、安装JDK 1、下载路径：http://www.oracle.com/technetwork/java/javase/downloads/index.html 2、安装到C:\Java\jdk1.8.0_121（安装时不要安装到有空格的目录路径中，这样Hadoop在找JAVA_HOME的时候会找 阅读全文
posted @ 2017-12-12 12:36 一片黑 阅读(22122) 评论(0) 推荐(0) 编辑
【原创】用python连接thrift Server 去执行sql的问题总汇
摘要： 【原创】用python连接thrift Server 去执行sql的问题总汇 场景：python和现有产品的结合和应用——python的前瞻性调研 环境：centos7 0、首先确保安装了python和pyhive，下面是连接代码： #!/usr/bin/env python # -*- codin 阅读全文
posted @ 2017-12-12 10:31 一片黑 阅读(2336) 评论(2) 推荐(0) 编辑
走进 thrift server
摘要： thrift的使用介绍 thriftthrift clientthrift serverthrift 0.7.0 一、About thrift 二、什么是thrift，怎么工作？ 三、Thrift IDL 四、Thrift Demo 五、Thrift 协议栈 以及各层的使用（java 为例） 六、与 阅读全文
posted @ 2017-12-12 10:30 一片黑 阅读(6897) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 12 下一页