摘要：
前言 在开始工作至今，学习各种各样的技术之中发现自己的很多Java的基础知识都忘了⊙﹏⊙b汗。。。 而且越是学习越是发现Java基础的重要性，所以准备单独抽一下时间进行Java基础的重新学习。在重新学习的时候，对这些又有了不同的感悟，于是准备将这些都记载下来，并整理成博客，希望能够帮助那些需要的人。 阅读全文
摘要：
Storm介绍 Storm是Twitter开源的分布式实时大数据处理框架，最早开源于github，从0.9.1版本之后，归于Apache社区，被业界称为实时版Hadoop。随着越来越多的场景对Hadoop的MapReduce高延迟无法容忍，比如网站统计、推荐系统、预警系统、金融系统(高频交易、股票) 阅读全文
摘要：
前言 在之前的博客中，有过几篇都写了关于mysql在linux下的搭建教程，可能以后还会再写，但是又不想重复在写， 于是便想单独将此抽出来，单独写成一篇博客，并详细记录一些安装过程以及遇到的问题解决办法。顺便也将MySql的主从搭建教程也写在一起，方便以后查阅。 一、MySql安装 在安装MySql 阅读全文
摘要：
前言 在之前的学习 "springBoot" 中，成功的实现了Restful风格的基本服务。但是想将之前的工程作为一个项目来说，那些是仅仅不够的。可能还需要获取自定义的配置以及添加过滤器和拦截器。至于为什么将这些写在一起，只是因为这些比较简单而且也会经常用到，所以干脆就一起写出来了。 读取配置文件 阅读全文
摘要：
前言 在上一篇 "Kafka使用Java实现数据的生产和消费demo" 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。 应用场景 在上一篇kafka的consumer消费者，我们使用的是自动提交offset下标。 但是offset下标自动提 阅读全文
摘要：
前言 在 "上一篇" 中讲述如何搭建kafka集群，本篇则讲述如何简单的使用 kafka 。不过在使用kafka的时候，还是应该简单的了解下kafka。 Kafka的介绍 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 Kafka 有如下特性： 以时 阅读全文
摘要：
前言 storm和kafka集群安装是没有必然联系的，我将这两个写在一起，是因为他们都是由zookeeper进行管理的，也都依赖于JDK的环境，为了不重复再写一遍配置，所以我将这两个写在一起。若只需一个，只需挑选自己选择的阅读即可。 这两者的依赖如下: Storm集群 ：JDK1.8 , Zooke 阅读全文
摘要：
Logback介绍 Logback是由log4j创始人设计的又一个开源日志组件。logback当前分成三个模块：logback core,logback classic和logback access。logback core是其它两个模块的基础模块。logback classic是log4j的一个 阅读全文
摘要：
前言 在之前的 "大数据学习系列之七 Hadoop+Spark+Zookeeper+HBase+Hive集群搭建" 中介绍了集群的环境搭建，但是在使用hive进行数据查询的时候会非常的慢，因为hive默认使用的引擎是MapReduce。因此就将spark作为hive的引擎来对hbase进行查询，在成 阅读全文
摘要：
前言 在去年的时候，在各种渠道中略微的了解了SpringBoot，在开发web项目的时候是如何的方便、快捷。但是当时并没有认真的去学习下，毕竟感觉自己在Struts和SpringMVC都用得不太熟练。不过在看了很多关于SpringBoot的介绍之后，并没有想象中的那么难，于是开始准备学习Spring 阅读全文
摘要：
前言 在搭建大数据Hadoop相关的环境时候，遇到很多了很多错误。我是个喜欢做笔记的人，这些错误基本都记载，并且将解决办法也写上了。因此写成博客，希望能够帮助那些搭建大数据环境的人解决问题。 说明 : 遇到的问题以及相应的解决办法是对于个人当时的环境，具体因人而异。如果碰到同样的问题，本博客的方法无 阅读全文
摘要：
前言 又到了一年中最后的日子了，相信有不少公司要求员工写年度总结了，我也不例外。不过个人感觉在公司的写个年度总结来说，过于模板化了。其实很多没有必要。总之，本篇的个人总结，是按照个人的想法写的。简而言之，就是放开了说，放开的写！ 今年事件 先做个列表，然后再对该列表的事件进行说明。为了使事件的说明有 阅读全文
摘要：
引言 在之前的大数据学习系列中，搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试。其实要说的话，我开始学习大数据的时候，搭建的就是集群，并不是单机模式和伪分布式。至于为什么先写单机的搭建，是因为作为个人学习的话，单机已足以，好吧，说实话是自己的电脑不行，使用虚拟机实在太卡了。。 阅读全文
摘要：
引言 在上一篇中 "大数据学习系列之五 Hive整合HBase图文详解" ： http://www.panchengming.com/2017/12/18/pancm62/ 中使用Hive整合HBase，并且测试成功了。在之前的 "大数据学习系列之一 Hadoop环境搭建(单机)" : http:/ 阅读全文
摘要：
引言 在上一篇 "大数据学习系列之四 Hadoop+Hive环境搭建图文详解(单机)" 和之前的 "大数据学习系列之二 HBase环境搭建(单机)" 中成功搭建了Hive和HBase的环境，并进行了相应的测试。本文主要讲的是如何将Hive和HBase进行整合。 Hive和HBase的通信意图 Hiv 阅读全文
摘要：
原文:https://www.cnblogs.com/HondaHsu/p/4346354.html 1.先建 表 drop table sfmk.xzz_0726_srcarea_desarea; create table sfmk.xzz_0726_srcarea_desarea ( srcar 阅读全文
摘要：
引言 在 "大数据学习系列之一 Hadoop环境搭建(单机)" 成功的搭建了Hadoop的环境，在 "大数据学习系列之二 HBase环境搭建(单机)" 成功搭建了HBase的环境以及相关使用介绍。本文主要讲解如何搭建Hadoop+Hive的环境。 一、环境准备 1，服务器选择 本地虚拟机 操作系统: 阅读全文
摘要：
前言 使用VMware安装虚拟机这个一般都知道，操作简单。而本文主要讲使用虚拟机的后续相关配置。并记录使用过程中遇到的问题以及一些技巧。本篇文章以后回持续更新的。。。 安装包准备 VM:12 Linux:CentOS 7.0 百度云盘: 链接：https://pan.baidu.com/s/1geE 阅读全文
摘要：
引言 在上一篇中 "大数据学习系列之二 HBase环境搭建(单机)" 中，成功搭建了Hadoop+HBase的环境，本文则主要讲述使用Java 对HBase的一些操作。 一、事前准备 1.确认hadoop和hbase成功启动 2.确认防火墙是否关闭 3.maven所需要的依赖架包 4.修改hosts 阅读全文
摘要：
引言 在上一篇中搭建了 "Hadoop的单机环境" ，这一篇则搭建HBase的单机环境 环境准备 1，服务器选择 阿里云服务器:入门型(按量付费) 操作系统:linux CentOS 6.8 Cpu：1核 内存：1G 硬盘:40G 2，配置选择 JDK:1.8 （jdk 8u144 linux x6 阅读全文