Fork me on GitHub

12 2017 档案

摘要:前言 又到了一年中最后的日子了,相信有不少公司要求员工写年度总结了,我也不例外。不过个人感觉在公司的写个年度总结来说,过于模板化了。其实很多没有必要。总之,本篇的个人总结,是按照个人的想法写的。简而言之,就是放开了说,放开的写! 今年事件 先做个列表,然后再对该列表的事件进行说明。为了使事件的说明有 阅读全文
posted @ 2017-12-31 19:19 虚无境 阅读(3304) 评论(9) 推荐(8) 编辑
摘要:引言 在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试。其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式。至于为什么先写单机的搭建,是因为作为个人学习的话,单机已足以,好吧,说实话是自己的电脑不行,使用虚拟机实在太卡了。。 阅读全文
posted @ 2017-12-30 15:47 虚无境 阅读(3343) 评论(4) 推荐(6) 编辑
摘要:引言 在上一篇中 "大数据学习系列之五 Hive整合HBase图文详解" : http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase,并且测试成功了。在之前的 "大数据学习系列之一 Hadoop环境搭建(单机)" : http:/ 阅读全文
posted @ 2017-12-19 19:15 虚无境 阅读(6480) 评论(2) 推荐(2) 编辑
摘要:引言 在上一篇 "大数据学习系列之四 Hadoop+Hive环境搭建图文详解(单机)" 和之前的 "大数据学习系列之二 HBase环境搭建(单机)" 中成功搭建了Hive和HBase的环境,并进行了相应的测试。本文主要讲的是如何将Hive和HBase进行整合。 Hive和HBase的通信意图 Hiv 阅读全文
posted @ 2017-12-18 18:47 虚无境 阅读(14410) 评论(8) 推荐(7) 编辑
摘要:引言 在 "大数据学习系列之一 Hadoop环境搭建(单机)" 成功的搭建了Hadoop的环境,在 "大数据学习系列之二 HBase环境搭建(单机)" 成功搭建了HBase的环境以及相关使用介绍。本文主要讲解如何搭建Hadoop+Hive的环境。 一、环境准备 1,服务器选择 本地虚拟机 操作系统: 阅读全文
posted @ 2017-12-16 09:33 虚无境 阅读(29572) 评论(8) 推荐(15) 编辑
摘要:前言 使用VMware安装虚拟机这个一般都知道,操作简单。而本文主要讲使用虚拟机的后续相关配置。并记录使用过程中遇到的问题以及一些技巧。本篇文章以后回持续更新的。。。 安装包准备 VM:12 Linux:CentOS 7.0 百度云盘: 链接:https://pan.baidu.com/s/1geE 阅读全文
posted @ 2017-12-15 19:45 虚无境 阅读(1223) 评论(0) 推荐(0) 编辑
摘要:引言 在上一篇中 "大数据学习系列之二 HBase环境搭建(单机)" 中,成功搭建了Hadoop+HBase的环境,本文则主要讲述使用Java 对HBase的一些操作。 一、事前准备 1.确认hadoop和hbase成功启动 2.确认防火墙是否关闭 3.maven所需要的依赖架包 4.修改hosts 阅读全文
posted @ 2017-12-14 18:28 虚无境 阅读(3424) 评论(1) 推荐(4) 编辑
摘要:引言 在上一篇中搭建了 "Hadoop的单机环境" ,这一篇则搭建HBase的单机环境 环境准备 1,服务器选择 阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu:1核 内存:1G 硬盘:40G 2,配置选择 JDK:1.8 (jdk 8u144 linux x6 阅读全文
posted @ 2017-12-10 15:49 虚无境 阅读(12550) 评论(8) 推荐(4) 编辑
摘要:版本: Hive2.1 在linux上部署Hive的时候,初始化元数据的时候,出现 HiveSchemaTool:Parsing failed. Reason: Unrecognized option: dbType mysql 的错误,说找不到mysql。 但是我确认mysql 已经安装,并且my 阅读全文
posted @ 2017-12-10 15:48 虚无境 阅读(2290) 评论(0) 推荐(0) 编辑
摘要:一、环境选择 1,服务器选择 阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu:1核 内存:1G 硬盘:40G ip:39.108.77.250 2,配置选择 JDK:1.8 (jdk 8u144 linux x64.tar.gz) Hadoop:2.8.2 (h 阅读全文
posted @ 2017-12-10 15:47 虚无境 阅读(19396) 评论(3) 推荐(12) 编辑

点击右上角即可分享
微信分享提示