摘要：
阅读全文
摘要：
Hive是基于Hadoop的一个数据仓库工具(离线)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。 1.1. Hive的特点 可扩展 Hive可以自由的扩展集群的规模，一般情况下不需要重启服务。 延展性 Hive支持用户自定义函数，用户可以根据自己的需求来实现自己的函数。 容错 阅读全文
摘要：
zookeeper:基础组件。功能：1.可以为客户端管理少量数据。2.可以为客户端监听指定数据节点的状态，并在数据节点发生变化时通知客户端 服务器上下线的动态感知 上传安装包，解压 修改conf/zoo.cfg # The number of milliseconds of each tick ti 阅读全文
摘要：
mapreduce程序应该是在很多机器上并行启动，而且先执行map task，当众多的maptask都处理完自己的数据后，还需要启动众多的reduce task，这个过程如果用用户自己手动调度不太现实，需要一个自动化的调度平台——hadoop中就为运行mapreduce之类的分布式运算程序开发了一个 阅读全文
摘要：
1、什么是元数据？ hdfs的目录结构及每一个文件的块信息（块的id，块的副本数量，块的存放位置<datanode>） 2、元数据由谁负责管理？ namenode 3、namenode把元数据记录在哪里？ namenode的实时的完整的元数据存储在内存中； namenode还会在磁盘中（dfs.na 阅读全文
摘要：
客户端的理解 hdfs的客户端有多种形式： 1、网页形式 2、命令行形式 3、客户端在哪里运行，没有约束，只要运行客户端的机器能够跟hdfs集群联网 文件的切块大小和存储的副本数量，都是由客户端决定！ 所谓的由客户端决定，是通过配置参数来定的 hdfs的客户端会读以下两个参数，来决定切块大小、副本数 阅读全文
摘要：
hdfs集群组成结构： 安装hdfs集群的具体步骤： 1、学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 2、修改各台机器的主机名和ip地址 主机名：hdp-01 对应的ip地址：192.168.33.61 主机名：hdp-02 对应的ip地址 阅读全文
摘要：
在互联网技术发展到现今阶段，大量日常、工作等事务产生的数据都已经信息化，人类产生的数据量相比以前有了爆炸式的增长，以前的传统的数据处理技术已经无法胜任，需求催生技术，一套用来处理海量数据的软件工具应运而生，这就是大数据！ 换个角度说，大数据是： 1、有海量的数据 2、有对海量数据进行挖掘的需求 有对 阅读全文
摘要：
MySQL 创建数据表 语法 ? 1 CREATE TABLE table_name (column_name column_type); ? 1 CREATE TABLE table_name (column_name column_type); ? 1 CREATE TABLE table_na 阅读全文