随笔分类 -  大数据

基于Ubuntu Hadoop的群集搭建Hive
摘要：Hive是Hadoop生态中的一个重要组成部分，主要用于数据仓库。前面的文章中我们已经搭建好了Hadoop的群集，下面我们在这个群集上再搭建Hive的群集。 1.安装MySQL 1.1安装MySQL Server 在Ubuntu下面安装MySQL的Server很简单，只需要运行： 系统会把MySQL 阅读全文
posted @ 2016-12-22 14:50 深蓝 阅读(1635) 评论(0) 推荐(0) 编辑
在Ubuntu下搭建Spark群集
摘要：在前一篇文章中，我们已经搭建好了Hadoop的群集，接下来，我们就是需要基于这个Hadoop群集，搭建Spark的群集。由于前面已经做了大量的工作，所以接下来搭建Spark会简单很多。 首先打开三个虚拟机，现在我们需要安装Scala，因为Spark是基于Scala开发的，所以需要安装Scala。在U 阅读全文
posted @ 2016-12-20 22:30 深蓝 阅读(3290) 评论(0) 推荐(0) 编辑
在Ubuntu上搭建Hadoop群集
摘要：前面我搭建的Hadoop都是单机伪分布式的，并不能真正感受到Hadoop的最大特点，分布式存储和分布式计算。所以我打算在虚拟机中同时开启3台机器，实现分布式的Hadoop群集。 1.准备3台Ubuntu Server 1.1复制出3台虚拟机 我们可以用之前编译和安装好Hadoop的虚拟机作为原始版本 阅读全文
posted @ 2016-12-19 13:55 深蓝 阅读(2469) 评论(0) 推荐(0) 编辑
在Ubuntu X64上编译Hadoop
摘要：在之前的文章中介绍了如何直接在Ubuntu中安装Hadoop。但是对于64位的Ubuntu来说，官方给出的Hadoop包是32位的，运行时会得到警告： WARN util.NativeCodeLoader: Unable to load native-hadoop library for your 阅读全文
posted @ 2016-12-12 16:47 深蓝 阅读(2856) 评论(0) 推荐(0) 编辑
在Ubuntu上单机安装Hadoop
摘要：最近大数据比较火，所以也想学习一下，所以在虚拟机安装Ubuntu Server，然后安装Hadoop。 以下是安装步骤： 1. 安装Java 如果是新机器，默认没有安装java，运行java –version命名，看是否可以查看Java版本，如果未安装Java，这运行以下命名： # Update t 阅读全文
posted @ 2015-04-03 13:58 深蓝 阅读(1735) 评论(0) 推荐(0) 编辑


我要啦免费统计
点击右上角即可分享
微信分享提示