08 2016 档案
摘要：了解Hive的都知道Hive有三种使用方式——CLI命令行，HWI（hie web interface）浏览器 以及 Thrift客户端连接方式。 为了体验下HWI模式，特意查询了多方的资料，都没有一个完整的部署方案，经过一下午的踩坑，这里特意总结一下，希望为后人节省点时间。 先放个图兴奋一下！ 参
阅读全文
摘要：一直想抽个时间整理下最近的所学，断断续续接触hive也有半个多月了，大体上了解了很多Hive相关的知识。那么，一般对陌生事物的认知都会经历下面几个阶段： 为什么会出现？解决了什么问题？ 如何搭建？如何使用？ 如何精通？ 我会在本篇粗略的介绍下前两个问题，然后给一些相关的资料。第三个问题，就得慢慢靠实
阅读全文
摘要：Mybatis是轻量级的持久化框架，的确上手非常快. Mybatis大体上的思路就是由一个总的config文件配置全局的信息，比如mysql连接信息等。然后再mapper中指定查询的sql，以及参数和返回值。 在Service中直接调用这个mapper即可。 依赖的jar包 主要的mybatis配置
阅读全文
摘要：SQL里面通常都会用Join来连接两个表，做复杂的关联查询。比如用户表和订单表，能通过join得到某个用户购买的产品；或者某个产品被购买的人群.... Hive也支持这样的操作，而且由于Hive底层运行在hadoop上，因此有很多地方可以进行优化。比如小表到大表的连接操作、小表进行缓存、大表进行避免
阅读全文
摘要：Hive作为大数据环境下的数据仓库工具，支持基于hadoop以sql的方式执行mapreduce的任务，非常适合对大量的数据进行全量的查询分析。 本文主要讲述下hive载cli中如何导入导出数据： 导入数据 第一种方式，直接从本地文件系统导入数据 我的本机有一个test1.txt文件，这个文件中有三
阅读全文
摘要：目录 第一章 苏秦用计激张仪赴秦 第二章 修改方略，苏秦成功合三晋 第三章 收买人心，惠文公智服张仪 第四章 金牛计，张仪借力开蜀道 第五章 苏秦舌战稷下群士，齐王入纵 第六章 暗度陈仓，淳于髡魏国盗孙膑 第七章 苏秦戳穿假仙人，楚王入纵 第八章 六国特使楚宫议合纵 第九章 合纵会盟，苏秦掌六国相印
阅读全文
摘要：Hive是为了解决hadoop中mapreduce编写困难，提供给熟悉sql的人使用的。只要你对SQL有一定的了解，就能通过Hive写出mapreduce的程序，而不需要去学习hadoop中的api。 在部署前需要确认安装jdk以及Hadoop 如果需要安装jdk以及hadoop可以参考我之前的博客
阅读全文
摘要：之前一直没有完全的总结出一篇关于Linux下安装Java的过程，今天正好就整理下。 下载jdk 如果在官网下载比较慢，那么可以到我的云盘分享上，下载jdk 1.8.0的版本： "下载地址参考链接" 解压缩jdk安装包 引入PATH以及JAVA_HOME环境变量 编辑完后，你就可以看到JAVA_HOM
阅读全文
摘要：安装VirtualBox为了共享文件夹，折腾了一晚上！网上的很多资料都不是很全面，这里就全面的总结一下，如果有其他的疑问，可以留言多多交流。 "VirtualBox下载地址,版本为5.1.2" 设置共享文件路径 点击虚拟机 设置 选择 共享文件夹 （图1 设置共享文件夹） 设置共享文件夹路径 1 选
阅读全文
摘要：Hive出现的背景 Hadoop提供了大数据的通用解决方案，比如存储提供了Hdfs，计算提供了MapReduce思想。但是想要写出MapReduce算法还是比较繁琐的，对于开发者来说，需要了解底层的hadoop api。如果不是开发者想要使用mapreduce就会很困难.... 另一方面，大部分的开
阅读全文
摘要：基于Logstash跑通Kafka还是需要注意很多东西，最重要的就是理解Kafka的原理。 Logstash工作原理 由于Kafka采用解耦的设计思想，并非原始的发布订阅，生产者负责产生消息，直接推送给消费者。而是在中间加入持久化层——broker,生产者把数据存放在broker中，消费者从brok
阅读全文
摘要：Kafka是目前非常流行的消息队列中间件，常用于做普通的消息队列、网站的活性数据分析（PV、流量、点击量等）、日志的搜集（对接大数据存储引擎做离线分析）。 全部内容来自网络，可信度有待考证！如有问题，还请及时指正。 概念介绍 在Kafka中消息队列分为三种角色: ，即生产者，负责产生日志数据。 ，存
阅读全文
摘要：Beats是elastic公司的一款轻量级数据采集产品，它包含了几个子产品： packetbeat(用于监控网络流量)、 filebeat(用于监听日志数据，可以替代logstash input file)、 topbeat(用于搜集进程的信息、负载、内存、磁盘等数据)、 winlogbeat(用于
阅读全文
