nohert

摘要： 对比项 hive 关系型数据库 查询语言 HQL SQL 数据存储 HDFS local FS or RawDevice 执行器 MapReducer Executor 数据inert 支持批量导入和单条插入 支持批量导入和单条插入 数据Update和delete 支持追加，不支持删除 行级别更新和 阅读全文

摘要： 奇数台机器的原因是由于zookeeper的选举规则：leader选举导致， 要求 可用节点数量 >总节点数量/2 (注意非≥) 处于这种规则有两种考虑： 一、 防止由脑裂造成的集群不可用 首先，什么是脑裂？集群的脑裂通常是发生在节点之间通信不可达的情况下，集群会分裂成不同的小集群，小集群各自选出自己 阅读全文

摘要： 注： 本次搭建是基于已经搭建好的hadoop3集群搭建的，故对于hadoop3搭建不做介绍，且本次搭建是以本地模式为例 特别关注：由于hadoop3xy不兼容hive2xy，如使用hive安装会出现各种问题，故使用hive3作为本次环境搭建 1.安装mysql 1.1安装mysql数据库 yum i 阅读全文

摘要： 什么是Hive Hive本身是数据仓库。 数据仓库是为了协助分析报告，支持决策，为需要业务智能的企业提供业务流程的改进和指导，从而节省时间和成本，提高质量。它与数据库系统的区别是，数据库系统可以很好地解决事务处理，实现对数据的“增、删、改、查”操作，而数据仓库则是用来做查询分析的数据库，通常不会用来 阅读全文

摘要： （1）编辑mapred-site.xml配置文件。 配置文件位于Hadoop安装位置的etc/hadoop/目录下。代码如下： <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> < 阅读全文

摘要： yarn是什么： 旧版本MapReduce中的JobTracker/TaskTracker在可扩展性、内存消耗、可靠性和线程模型方面存在很多问题，需要开发者做很多调整来修复。 Hadoop的开发者对这些问题进行了Bug修复，可是由此带来的成本却越来越高，为了从根本上解决旧MapReduce存在的问题 阅读全文

摘要： zk的ACL策略 ZooKeeper的权限控制系统类似于UNIX文件系统，它采用的是ACL（AccessControl Lists）策略。 ZooKeeper定义了如下5种权限。 ·CREATE：创建子节点的权限。 ·READ：获取节点数据和子节点的权限。 ·WRITE：更新节点数据的权限。 ·DE 阅读全文

摘要： 搭建HDFS高可用 在搭建hdfs高可用过程中，以node1、node2和node3来搭建高可用环境，每个节点所分配的作用如表4.3所示。 由表4.3中可以看出，NameNode（NN）分别配置在node1和node2上，ZKFC配置在node1和node3上，JournalNode（JN）配置在n 阅读全文

摘要： JavaMail邮件开发 (api + 配置) 开发中，邮件的应用？ -à 注册，填写生日； 后期系统会自动发送生日祝贺 -à 发货，发货提醒！邮件提醒！ 邮件： 1. 发邮件；【程序中如何发邮件！】 2. 收邮件；【很多客户端工具， foxmail 】 邮件开发准备: 准备工作, 环境搭建： 1. 阅读全文

摘要： 文件上传与下载 1.1 文件上传 案例： 注册表单/保存商品等相关模块！ --à 注册选择头像 / 商品图片 (数据库：存储图片路径 / 图片保存到服务器中指定的目录) 文件上传，要点: 前台： 1. 提交方式：post 2. 表单中有文件上传的表单项： <input type=”file” /> 阅读全文