spark亚太研究院

【互动问答分享】第8期决胜云计算大数据时代Spark亚太研究院公益大讲堂

摘要： Spark亚太研究院100期公益大讲堂【第8期互动问答分享】阅读全文

posted @ 2014-08-21 11:00 spark亚太研究院阅读(211) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群-配置Hadoop单机模式并运行Wordcount（2）

摘要： 2.安装rsync我们的Ubuntu 12.10版本默认安装了rsync，我们可以通过以下命令来安装或者更新rsync3.安装hadoop，家林把下载下来的最新稳定版本的hadoop保存在电脑本地的以下位置：创建/usr/local/hadoop目录并把下载下来的Hadoop解压/usr/local... 阅读全文

posted @ 2014-08-15 10:12 spark亚太研究院阅读(315) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群-配置Hadoop单机模式并运行Wordcount（1）

摘要：安装sshHadoop是采用ssh进行通信的，此时我们要设置密码为空，即不需要密码登陆，这样免去每次通信时都输入秘密，安装如下：输入“Y”进行安装并等待自动安装完成。安装ssh完成后启动服务以下命令验证服务是否正常启动：可以看到ssh正常启动；设置免密码登录，生成私钥和公钥：在/root/.ssh中... 阅读全文

posted @ 2014-08-14 11:33 spark亚太研究院阅读(300) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群-运行Ubuntu系统（2）

摘要：安装Java1.打开终端，建立新目录“/usr/lib/java”，如下图所示：2.把下载的JDK文件移到刚刚创建的“/usr/lib/java”中，如下图所示3.解压JDK文件，如下图所示：解压完成的文件目录如下图所示：4.修改环境变量:进入如下图所示的配置文件中：按下“i”进入INSERT模式，... 阅读全文

posted @ 2014-08-13 10:47 spark亚太研究院阅读(335) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群-运行Ubuntu系统（1）

摘要：为了简化权限等问题，下面我们以root用户的身份登录和使用Ubuntu系统，而Ubuntu在默认情况下并没有开启root用户，这需要我们做如下设置：sudo -s进入 root用户权限模式vim/etc/lightdm/lightdm.conf[SeatDefaults]greeter-sessio... 阅读全文

posted @ 2014-08-12 10:47 spark亚太研究院阅读(296) 评论(0) 推荐(0)

【互动问答分享】第7期决胜云计算大数据时代Spark亚太研究院公益大讲堂

摘要： “决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第7期互动问答分享】Q1:Spark中的RDD到底是什么？ RDD是Spark的核心抽象，可以把RDD看做“分布式函数编程语言”。 RDD有以下核心特征：A list of partitionsA function f... 阅读全文

posted @ 2014-08-11 14:23 spark亚太研究院阅读(279) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群-安装Ubuntu系统(3)

摘要：启动虚拟机，正是开启Ubuntu系统的安装！点击“Power on this virtual machine”启动虚拟机，此时进入Ubuntu的安装等待一段时间后虚拟机自动进入如下界面：点击“Install Ubuntu”进入Ubuntu的安装点击“Continue”进入下一步：点击“Continu... 阅读全文

posted @ 2014-08-07 08:43 spark亚太研究院阅读(278) 评论(1) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章构建Spark集群-安装Ubuntu系统(2)

摘要： 3.点击“Finish”完成虚拟系统的创建，如下图所示：点击我们创建的Ubuntu，如下所示点击“CD/DVD(IDE)”进入如下界面选择我们的Ubuntu的ISO的具体存放路径，选择好后如下图所示：点击“OK”完成设置；点击“Memory”，进入如下界面：此时把我们虚拟的内存设置为2G，如下所示：... 阅读全文

posted @ 2014-08-06 16:52 spark亚太研究院阅读(207) 评论(0) 推荐(0)

【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 -构建Spark集群-安装Ubuntu系统(1)

摘要： Unbuntu系统是我们开发Hadoop时最常用的操作系统，下面带领大家一步步完成Vmware虚拟机下Unbuntu系统的安装创建Vmware中的虚拟系统：我们选择的是“Typical”的方式，点击“Next”进入下一步：选择稍后安装操作系统，点击“Next”进入下一步：选择安装Linux系统的Ub... 阅读全文

posted @ 2014-08-05 10:15 spark亚太研究院阅读(249) 评论(0) 推荐(0)

【互动问答分享】第6期决胜云计算大数据时代Spark亚太研究院公益大讲堂

摘要：【互动问答分享】第6期决胜云计算大数据时代Spark亚太研究院公益大讲堂阅读全文

posted @ 2014-08-04 15:31 spark亚太研究院阅读(160) 评论(0) 推荐(0)