09 2021 档案
摘要：客户端命令行操作 3.2.1 命令行语法 命令基本语法 功能描述 help 显示所有操作命令 ls path 使用 ls 命令来查看当前 znode 的子节点 [可监听] -w 监听子节点变化 -s 附加次级信息 尚硅谷技术之 Zookeeper ——————————————————————————
阅读全文
摘要：配置参数解读 Zookeeper中的配置文件zoo.cfg中参数含义解读如下： 1）tickTime = 2000：通信心跳时间，Zookeeper服务器与客户端心跳时间，单位毫秒 尚硅谷技术之 Zookeeper ————————————————————————————— 更多 Java –大数据
阅读全文
摘要：Zookeeper 本地安装 2.1 本地模式安装 1）安装前准备 尚硅谷技术之 Zookeeper ————————————————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 （1）安装 JDK （2）拷贝 apache-
阅读全文
摘要：五、关键算法 / 流程 region定位 系统如何找到某个row key (或者某个 row key range)所在的region bigtable 使用三层类似B+树的结构来保存region位置。 第一层是保存zookeeper里面的文件，它持有root region的位置。 第二层root r
阅读全文
摘要：一、 简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 Firs
阅读全文
摘要：HBase的使用 原创 春哥大魔王的博客 工作日志 2019/05/12 15:41 阅读数 9.4K 前言 HBase是一个高可靠，高性能，面向列，可伸缩的分布式存储系统，适用于结构化的存储，底层依赖于Hadoop的HDSF，利用HBase可以在廉价PC server上搭建起大规模结构化存储集群。
阅读全文
摘要：载 进入hbase下载页面，选择与hadoop版本相兼容的hbase版本。在这个页面使用ctrl+f搜索"S", 然后下面有一个表就是hbase与hadoop版本对应关系： 我这里使用的hadoop版本是2.8.5，使用的hbase版本是2.1.1。 新建一个/usr/hbase目录，然后下载hba
阅读全文
摘要：如果一个人没有听说过《重构》这本书，那么他一定不敢说自己是程序员；如果一个人没有阅读过《重构》这本书，那么很难想象他会是一名优秀的程序员。这本书是很多公司要求Java程序员必读的三本书之一（另外两本书是《Java编程思想》和《Effective Java》），其实无关编程语言，是程序员就能够从这本书
阅读全文
摘要：HBase是一个分布式的、面向列的开源数据库，不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 项目中用到了hbase数据库，因为查询方式和以前用过的数据库很不同所以，想将摸索过程记录下来以便之后查看。 hbase查询最大的不同在于
阅读全文
摘要：目的 鉴于性能问题以及某些Java类库的缺失，对于某些组件，Hadoop提供了自己的本地实现。 这些组件保存在Hadoop的一个独立的动态链接的库里。这个库在*nix平台上叫libhadoop.so. 本文主要介绍本地库的使用方法以及如何构建本地库。 组件 Hadoop现在已经有以下 compres
阅读全文
摘要：例子：WordCount v2.0 这里是一个更全面的WordCount例子，它使用了我们已经讨论过的很多Map/Reduce框架提供的功能。 运行这个例子需要HDFS的某些功能，特别是 DistributedCache相关功能。因此这个例子只能运行在 伪分布式 或者 完全分布式模式的 Hadoop
阅读全文
摘要：其他有用的特性 Counters Counters 是多个由Map/Reduce框架或者应用程序定义的全局计数器。 每一个Counter可以是任何一种 Enum类型。同一特定Enum类型的Counter可以汇集到一个组，其类型为Counters.Group。 应用程序可以定义任意(Enum类型)的C
阅读全文
摘要：作业的提交与监控 JobClient是用户提交的作业与JobTracker交互的主要接口。 JobClient 提供提交作业，追踪进程 概述 Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上
阅读全文
摘要：概述 Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。 一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全
阅读全文
摘要：Hadoop分布式文件系统(HDFS)允许管理员为每个目录设置配额。 新建立的目录没有配额。 最大的配额是Long.Max_Value。配额为1可以强制目录保持为空。 目录配额是对目录树上该目录下的名字数量做硬性限制。如果创建文件或目录时超过了配额，该操作会失败。重命名不会改变该目录的配额；如果重命
阅读全文
摘要：概述 Hadoop分布式文件系统实现了一个和POSIX系统类似的文件和目录的权限模型。每个文件和目录有一个所有者（owner）和一个组（group）。文件或目录对其所有者、同组的其他用户以及所有其他用户分别有着不同的权限。对文件而言，当读取这个文件时需要有r权限，当写入或者追加到文件时需要有w权限。
阅读全文
摘要：AJAX - onreadystatechange 事件 onreadystatechange 事件 当请求被发送到服务器时，我们需要执行一些基于响应的任务。 每当 readyState 改变时，就会触发 目的 本文档的目标是为Hadoop分布式文件系统（HDFS）的用户提供一个学习的起点，这里的H
阅读全文
摘要：重构，绝对是写程序过程中最重要的事之一。在写程序之前我们不可能事先了解所有的需求，设计肯定会有考虑不周的地方，而且随着项目需求的修改，也有可能原来的设计已经被改得面目全非了。更何况，我们很少有机会从头到尾完成一个项目，基本上都是接手别人的代码，即使这个项目是从头参与的，也有可能接手其他组员的代码。我
阅读全文
摘要：引言 Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的
阅读全文
摘要：目的 本文描述了如何安装、配置和管理有实际意义的Hadoop集群，其规模可从几个节点的小集群到几千个节点的超大集群。 如果你希望在单机上安装Hadoop玩玩，从这里能找到相关细节。 先决条件 确保在你集群中的每个节点上都安装了所有必需软件。 获取Hadoop软件包。 安装 安装Hadoop集群通常要
阅读全文
摘要：目的 这篇文档的目的是帮助你快速完成单机上的Hadoop安装与使用以便你对Hadoop分布式文件系统(HDFS)和Map-Reduce框架有所体会，比如在HDFS上运行示例程序或简单作业等。 先决条件 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/L
阅读全文
摘要：这个学期准备好好学习大数据技术，，在假期中没有好好地学习大数据的技术吗，准备在开学的初期补上，在之后报考软考，好好学习=考研的科目，把六级过了
阅读全文
