摘要：
离线和实时大数据开发实战 目 录 前言 第一篇 数据大图和数据平台大图 第1章 数据大图 2 1.1 数据流程 2 1.1.1 数据产生 3 1.1.2 数据采集和传输 5 1.1.3 数据存储处理 6 1.1.4 数据应用 7 1.2 数据技术 8 1.2.1 数据采集传输主要技术 9 1.2.2 阅读全文
摘要：
Hbase和Hive在大数据架构中处在不同位置， Hbase主要解决实时数据查询问题， Hive主要解决数据处理和计算问题，一般是配合使用 一、区别： Hbase： Hadoop database 的简称，也就是基于Hadoop数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随 阅读全文
摘要：
对于简单的结构化数据，我们在HDFS和HBASE上的传递可能只需要用框架即可完成，但是对于复杂的数据传输，特别是实际工作中，数据的收集整理并非简单的结构，因此，我们需要对数据重新整理，并进行发送。这个过程就是依赖MapReduce，通过底层对数据的拆分和重组，达到我们要传输的结构要求。 下面我们开始 阅读全文
摘要：
0：请求未初始化（还没有调用 open()）。 1：请求已经建立，但是还没有发送（还没有调用 send()）。 2：请求已发送，正在处理中（通常现在可以从响应中获取内容头）。 3：请求在处理中；通常响应中已有部分数据可用了，但是服务器还没有完成响应的生成。 4：响应已完成；您可以获取并使用服务器的响 阅读全文
摘要：
为了方便大家自学SPSS统计分析，小兵把本号原创发布的统计方法案例，由浅入深全部归纳整理在此篇文章中，请各位收藏。 SPSS统计分析案例：生成随机数 8.16完成 随机抽样是减少抽样误差，随机分组是减少系统误差 转换-->随机数生成器-->（勾选活动生成器，设置前固定值）确定-->转换-->计算变量 阅读全文
摘要：
一。网易大数据开发面经 一面： 1.自我介绍 尊敬的面试官您好，我是来自河北省的袁志良。本科就读于燕山大学里仁学院。正如大家所见，我的内在和外表一样敦厚和实在，成长的经历已经使我不骄不躁，不浮不飘。我本人，虽然不善于花言巧语，但是真诚和厚道总能使我很好的融入集体，收获朋友。我知识和技能扎实，能够决心 阅读全文
摘要：
开发环境：Hadoop+HBASE+Phoenix+flum+kafka+spark+MySQL 默认配置好了Hadoop的开发环境，并且已经安装好HBASE等组件。 下面通过一个简单的案例进行整合： 这是整个工作的流程图： 第一步：获取数据源 由于外部埋点获取资源较为繁琐，因此，自己写了个自动生成 阅读全文
摘要：
网上看到很多方法，效果都不明显，甚至无法执行，特意写了博客，也加深自己的印象。 下面给大家介绍一种偷懒的生成工具使用--mybatis-generator，使用此插件可以从数据库生成指定表格对应的实体类、mapper接口以及对应的xml文件（包含一些常用的方法实现）。 首先是通过maven添加插件引 阅读全文
摘要：
最近发现很多进个程启动后，总有启动不成功的，而查看的过程中，对于还不熟悉的新手来说，总会有些混乱。并且各种端口实在太多，有些端口已经无法清晰记得，就写下来方便记忆，忘记时随时查询。 启动相应的进程显示： 各种默认端口（便于页面显示查看）： 阅读全文
摘要：
本篇主要讲解hbase的完全分布式的安装，至于伪分布和单机就很简单了。 安装步骤： 1.首先到官网下载适合hadoop版本的hbase，本章使用2.0.1版本。下载地址http://mirrors.cnnic.cn/apache/hbase/ 2.下载完毕后，利用Xftp上传到相应的目录，解压也可以 阅读全文