随笔分类 - hadoop
摘要：前言 在搭建大数据Hadoop相关的环境时候，遇到很多了很多错误。我是个喜欢做笔记的人，这些错误基本都记载，并且将解决办法也写上了。因此写成博客，希望能够帮助那些搭建大数据环境的人解决问题。 说明 : 遇到的问题以及相应的解决办法是对于个人当时的环境，具体因人而异。如果碰到同样的问题，本博客的方法无
阅读全文
摘要：引言 在之前的大数据学习系列中，搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试。其实要说的话，我开始学习大数据的时候，搭建的就是集群，并不是单机模式和伪分布式。至于为什么先写单机的搭建，是因为作为个人学习的话，单机已足以，好吧，说实话是自己的电脑不行，使用虚拟机实在太卡了。。
阅读全文
摘要：引言 在上一篇中 "大数据学习系列之五 Hive整合HBase图文详解" ： http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase，并且测试成功了。在之前的 "大数据学习系列之一 Hadoop环境搭建(单机)" : http:/
阅读全文
摘要：引言 在上一篇 "大数据学习系列之四 Hadoop+Hive环境搭建图文详解(单机)" 和之前的 "大数据学习系列之二 HBase环境搭建(单机)" 中成功搭建了Hive和HBase的环境，并进行了相应的测试。本文主要讲的是如何将Hive和HBase进行整合。 Hive和HBase的通信意图 Hiv
阅读全文
摘要：引言 在 "大数据学习系列之一 Hadoop环境搭建(单机)" 成功的搭建了Hadoop的环境，在 "大数据学习系列之二 HBase环境搭建(单机)" 成功搭建了HBase的环境以及相关使用介绍。本文主要讲解如何搭建Hadoop+Hive的环境。 一、环境准备 1，服务器选择 本地虚拟机 操作系统:
阅读全文
摘要：一、环境选择 1，服务器选择 阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu：1核 内存：1G 硬盘:40G ip:39.108.77.250 2，配置选择 JDK:1.8 （jdk 8u144 linux x64.tar.gz） Hadoop:2.8.2 (h
阅读全文
摘要：原文:http://lxw1234.com/archives/2016/11/779.htm 导读： 第一章：初识Hadoop 第二章：更高效的WordCount 第三章：把别处的数据搞到Hadoop上 第四章：把Hadoop上的数据搞到别处去 第五章：快一点吧，我的SQL 第六章：一夫多妻制 第七
阅读全文
摘要：<!-- 120*240 --> 原文：http://www.aboutyun.com/thread-6780-1-1.html 零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。在刚接触云计算，曾经想过培训，但是培训机构的选择就让我很纠结。所以索性就自己学习了。整个过程整理一下，给
阅读全文
摘要：原文:http://www.cnblogs.com/edisonchou/ 一、Hadoop的发展历史 说到Hadoop的起源，不得不说到一个传奇的IT公司—全球IT技术的引领者Google。Google（自称）为云计算概念的提出者，在自身多年的搜索引擎业务中构建了突破性的GFS（Google Fi
阅读全文