03 2018 档案
摘要：Eclipse环境搭建 具体的jar的引入方式可以参考http://www.cnblogs.com/qingyunzong/p/8623309.html HBase API操作表和数据
阅读全文
摘要：进入HBase命令行 在你安装的随意台服务器节点上，执行命令：hbase shell，会进入到你的 hbase shell 客 户端 说明，先看一下提示。其实是不是有一句很重要的话： 讲述了怎么获得帮助，怎么退出客户端 help 获取帮助 help：获取所有命令提示 help "dml" ：获取一组
阅读全文
摘要：前提 1、HBase 依赖于 HDFS 做底层的数据存储 2、HBase 依赖于 MapReduce 做数据计算 3、HBase 依赖于 ZooKeeper 做服务协调 4、HBase源码是java编写的，安装需要依赖JDK 版本选择 打开官方的版本说明http://hbase.apache.org
阅读全文
摘要：产生背景 自 1970 年以来，关系数据库用于数据存储和维护有关问题的解决方案。大数据的出现后， 好多公司实现处理大数据并从中受益，并开始选择像 Hadoop 的解决方案。Hadoop 使用分 布式文件系统，用于存储大数据，并使用 MapReduce 来处理。Hadoop 擅长于存储各种格式 的庞大
阅读全文
摘要：本文参考自https://blog.csdn.net/wo541075754/article/details/69138878?utm_source=gold_browser_extension https://www.cnblogs.com/java-zhao/p/7350945.html 简介
阅读全文
摘要：爬虫的四个主要步骤 什么是正则表达式 正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑。 给定一个正
阅读全文
摘要：HTTP和HTTPS HTTP协议（HyperText Transfer Protocol，超文本传输协议）：是一种发布和接收 HTML页面的方法。 HTTPS（Hypertext Transfer Protocol over Secure Socket Layer）简单讲是HTTP的安全版，在HT
阅读全文
摘要：通用爬虫和聚焦爬虫 根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 通用搜索引擎（Search Engine）工作
阅读全文
摘要：Python基础 基础教程参考廖雪峰的官方网站https://www.liaoxuefeng.com/ 一、"大数据时代"，数据获取的方式 1. 企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然的优势。 有数据意识的中小型企业，也开始积累的数据。 2. 数据管理咨询公司：通常这样
阅读全文
摘要：前言 python3应该是Python的趋势所在，当然目前争议也比较大，这篇随笔的主要目的是记录在centos6.7下搭建python3环境的过程 以及碰到的问题和解决过程。 另外，如果本机安装了python2，尽量不要管他，使用python3运行python脚本就好，因为可能有程序依赖目前的pyt
阅读全文
摘要：。。。
阅读全文
摘要：一、背景 Hadoop 的设计目的：解决海量大文件的处理问题，主要指大数据的存储和计算问题，其中， HDFS 解决数据的存储问题；MapReduce 解决数据的计算问题 Hadoop 的设计考虑：设计分布式的存储和计算解决方案架构在廉价的集群之上，所以，服 务器节点出现宕机的情况是常态。数据的安全是
阅读全文
摘要：Hadoop HA 原理概述 为什么会有 hadoop HA 机制呢？ HA：High Available，高可用 在Hadoop 2.0之前,在HDFS 集群中NameNode 存在单点故障 (SPOF：A Single Point of Failure)。 对于只有一个 NameNode 的集群
阅读全文
摘要：ZooKeeper中的各种角色 ZooKeeper与客户端 每个Server在工作过程中有三种状态： LOOKING：当前Server不知道leader是谁，正在搜寻 LEADING：当前Server即为选举出来的leader FOLLOWING：leader已经选举出来，当前Server与之同步
阅读全文
摘要：ZooKeeper 特点/设计目的 ZooKeeper 作为一个集群提供数据一致的协调服务，自然，最好的方式就是在整个集群中的 各服务节点进行数据的复制和同步。 数据复制的好处 1、容错：一个节点出错，不至于让整个集群无法提供服务 2、扩展性：通过增加服务器节点能提高 ZooKeeper 系统的负载
阅读全文
摘要：编程思维训练 1、级联查看某节点下所有节点及节点值 2、删除一个节点，不管有有没有任何子节点 3、级联创建任意节点 4、清空子节点 ZKTest.java ZKUtil.java
阅读全文
摘要：zookeeper文件系统的增删改查 监听设置 输出结果
阅读全文
摘要：一、eclipse中配置zookeeper开发环境 1）将zookeeper eclipse plugin中的6个jar包放到eclipse安装目录下的plugins文件中，重启eclipse (2) 在 Eclipse 菜单打开Window->Show View->Other…->ZooKeepe
阅读全文
摘要：Zookeeper的shell操作 Zookeeper命令工具 在启动Zookeeper服务之后，输入以下命令，连接到Zookeeper服务： 1 [hadoop@hadoop1 ~]$ zkCli.sh -server hadoop2:2181 2 Connecting to hadoop2:21
阅读全文
摘要：ZooKeeper 软件安装须知 鉴于 ZooKeeper 本身的特点，服务器集群的节点数推荐设置为奇数台。我这里我规划为三台， 为别为 hadoop1,hadoop2,hadoop3 ZooKeeper 的集群安装 ZooKeeper 的下载 下载地址：http://mirrors.hust.ed
阅读全文
摘要：本文引用自 http://www.cnblogs.com/sunddenly/p/4033574.html 引言 Hadoop 集群当中 N 多的配置信息如何做到全局一致并且单点修改迅速响应到整个集群？ 配置管理 Hadoop 集群中的 namonode 和 resourcemanager 的单点故
阅读全文
摘要：求所有两两用户之间的共同好友 数据格式 以上是数据：A:B,C,D,F,E,O表示：B,C,D,E,F,O是A用户的好友。 第一阶段输出结果 1 A F,I,O,K,G,D,C,H,B 2 B E,J,F,A 3 C B,E,K,A,H,G,F 4 D H,C,G,F,E,A,K,L 5 E A,B
阅读全文
摘要：第一题 下面是三种商品的销售数据 要求：根据以上数据，用 MapReduce 统计出如下数据： 1、每种商品的销售总金额，并降序排序 2、每种商品销售额最多的三周 第二题：MapReduce 题 现有如下数据文件需要处理: 格式：CSV 数据样例： user_a,location_a,2018-01
阅读全文
摘要：影评案例 数据及需求 数据格式 movies.dat 3884条数据 users.dat 6041条数据 ratings.dat 1000210条数据 数据解释 1、users.dat 数据格式为： 2::M::56::16::70072对应字段为：UserID BigInt, Gender Str
阅读全文
摘要：学生成绩 增强版 数据信息 1 computer,huangxiaoming,85,86,41,75,93,42,85 2 computer,xuzheng,54,52,86,91,42 3 computer,huangbo,85,42,96,38 4 english,zhaobenshan,54,
阅读全文
摘要：YARN 1.1、YARN 概述 YARN（Yet Another Resource Negotiator） YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操 作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序 YARN 是 Had
阅读全文
摘要：概述 1、MapReduce 中，mapper 阶段处理的数据如何传递给 reducer 阶段，是 MapReduce 框架中 最关键的一个流程，这个流程就叫 Shuffle 2、Shuffle: 数据混洗 ——（核心机制：数据分区，排序，局部聚合，缓存，拉取，再合并 排序） 3、具体来说：就是将
阅读全文
摘要：MapReduce的输入 作为一个会编写MR程序的人来说，知道map方法的参数是默认的数据读取组件读取到的一行数据 1、是谁在读取？ 是谁在调用这个map方法? 查看源码Mapper.java知道是run方法在调用map方法。 此处map方法中有四个重要的方法： 1、context.nextKeyV
阅读全文
摘要：MapReduce Join 对两份数据data1和data2进行关键词连接是一个很通用的问题，如果数据量比较小，可以在内存中完成连接。 如果数据量比较大，在内存进行连接操会发生OOM。mapreduce join可以用来解决大数据的连接。 1 思路 1.1 reduce join 在map阶段,
阅读全文
摘要：前言 在Hadoop中，排序是MapReduce的灵魂，MapTask和ReduceTask均会对数据按Key排序，这个操作是MR框架的默认行为，不管你的业务逻辑上是否需要这一操作。 技术点 MapReduce框架中，用到的排序主要有两种：快速排序和基于堆实现的优先级队列（PriorityQueue
阅读全文
摘要：流量统计项目案例 样本示例 需求 1、 统计每一个用户（手机号）所耗费的总上行流量、总下行流量，总流量 2、 得出上题结果的基础之上再加一个需求：将统计结果按照总流量倒序排序 3、 将流量汇总统计结果按照手机归属地不同省份输出到不同文件中 第一题 第二题 FlowBean.java 1 import
阅读全文
摘要：对combiner的理解 combiner其实属于优化方案，由于带宽限制，应该尽量map和reduce之间的数据传输数量。它在Map端把同一个key的键值对合并在一起并计算，计算规则与reduce一致，所以combiner也可以看作特殊的Reducer。 执行combiner操作要求开发者必须在程序
阅读全文
摘要：Partitioner分区类的作用是什么？ 在进行MapReduce计算时，有时候需要把最终的输出数据分到不同的文件中，比如按照省份划分的话，需要把同一省份的数据放到一个文件中；按照性别划分的话，需要把同一性别的数据放到一个文件中。我们知道最终的输出数据是来自于Reducer任务。那么，如果要得到多
阅读全文
摘要：http://blog.csdn.net/strongyoung88/article/details/68952248
阅读全文
摘要：MapReduce 多 Job 串联 需求 一个稍复杂点的处理逻辑往往需要多个 MapReduce 程序串联处理，多 job 的串联可以借助 MapReduce 框架的 JobControl 实现 实例 以下有两个 MapReduce 任务，分别是 Flow 的 SumMR 和 SortMR，其中有
阅读全文
摘要：概述 一个完整的 MapReduce 程序在分布式运行时有两类实例进程： 1、MRAppMaster：负责整个程序的过程调度及状态协调 2、Yarnchild：负责 map 阶段的整个数据处理流程 3、Yarnchild：负责 reduce 阶段的整个数据处理流程 以上两个阶段 MapTask 和
阅读全文
摘要：MapReduce是什么 首先让我们来重温一下 hadoop 的四大组件： HDFS：分布式存储系统 MapReduce：分布式计算系统 YARN：hadoop 的资源调度系统 Common：以上三大组件的底层支撑组件，主要提供基础工具包和 RPC 框架等 MapReduce 是一个分布式运算程序的
阅读全文
摘要：NameNode 学习目标 理解 namenode 的工作机制尤其是元数据管理机制，以增强对 HDFS 工作原理的 理解，及培养 hadoop 集群运营中“性能调优”、“namenode”故障问题的分析解决能力 问题场景 1、Namenode 服务器的磁盘故障导致 namenode 宕机，如何挽救集
阅读全文
摘要：HDFS的写操作 《HDFS权威指南》图解HDFS写过程 详细文字说明（术语） 1、使用 HDFS 提供的客户端 Client，向远程的 namenode 发起 RPC 请求 2、namenode 会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会 为文件创建一个记录，否则会让客户端
阅读全文
摘要：HDFS API的高级编程 HDFS的API就两个：FileSystem 和Configuration 1、文件的上传和下载 1 package com.ghgj.hdfs.api; 2 3 import org.apache.hadoop.conf.Configuration; 4 import
阅读全文
摘要：HDFS的优点和缺点 HDFS的优点 1、可构建在廉价机器上 通过多副本提高可靠性，提供了容错和恢复机制 服务器节点的宕机是常态 必须理性对象 2、高容错性 数据自动保存多个副本，副本丢失后，自动恢复 HDFS的核心设计思想： 分散均匀存储 + 备份冗余存储 3、适合批处理 移动计算而非数据，数据位
阅读全文
摘要：一、添加插件 将hadoop-eclipse-plugin-2.7.5.jar放入eclipse的plugins文件夹中 二、在Windows上安装Hadoop2.7.5 版本最好与Linux集群中的hadoop版本保持一致 1、将hadoop-2.7.5-centos-6.7.tar.gz解压到W
阅读全文
摘要：Hadoop常用命令 启动HDFS集群 启动YARN集群 查看HDFS系统根目录 创建文件夹 级联创建文件夹 查看hsdf系统根目录下的所有文件包括子文件夹里面的文件 [hadoop@hadoop1 ~]$ hadoop fs -ls -R /aadrwxr-xr-x - hadoop superg
阅读全文
摘要：HDFS前言 HDFS：Hadoop Distributed File System ，Hadoop分布式文件系统，主要用来解决海量数据的存储问题 设计思想 1、分散均匀存储 dfs.blocksize = 128M 2、备份冗余存储 dfs.replication = 3 在大数据系统中作用 为各
阅读全文
摘要：分布式集群的通用问题 当前的HDFS和YARN都是一主多从的分布式架构，主从节点 管理者和工作者 问题：如果主节点或是管理者宕机了。会出现什么问题？ 群龙无首，整个集群不可用。所以在一主多从的架构中都会有一个通用的问题： 当集群中的主节点宕机之后，整个集群不可用。这个现象叫做：单点故障。SPOF 单
阅读全文
摘要：概念了解 主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。 主从结构分类： 1、一主多从 2、多主多从 Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式： 1、主节点 从节点 2、master
阅读全文
摘要：下载Hadoop源码 1、登录官网 2、确定你要安装的软件的版本 一个选取原则： 不新不旧的稳定版本 几个标准： 1）一般来说，刚刚发布的大版本都是有很多问题 2）应该选择某个大版本中的最后一个小版本 阅读编译文档 1、准备一个hadoop源码包，我选择的hadoop的版本是：hadoop-2.7.
阅读全文
摘要：Hadoop产生的背景 1. HADOOP最早起源于Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎，包括网页抓取、索引、查询等功能，但随着抓取网页数量的增加，遇到了严重的可扩展性问题——如何解决数十亿网页的存储和索引问题。 2. 2003年开始谷歌陆续发表的三篇论文为该问题提供了可行的
阅读全文
摘要：三个题目 第一题 问题描述 统计出当前这个一行一个IP的文件中，到底哪个IP出现的次数最多 解决思路 问题难点 1、当读取的文件的大小超过内存的大小时，以上的解决方案是不可行的。 2、假如说你的内存足够大，能装下这个文件中的所有ip，整个任务的执行效率会非常低，消耗的时间会非常的长。 1GB --
阅读全文
摘要：Thread中start()和run()的区别 start() : 它的作用是启动一个新线程，新线程会执行相应的run()方法。start()不能被重复调用。run() : run()就和普通的成员方法一样，可以被重复调用。单独调用run()的话，会在当前线程中执行run()，而并不会启动新线程！
阅读全文
摘要：并发系列参考文章http://www.cnblogs.com/skywang12345/p/3323085.html#3907193 synchronized原理 在java中，每一个对象有且仅有一个同步锁。这也意味着，同步锁是依赖于对象而存在。当我们调用某对象的synchronized方法时，就获
阅读全文
摘要：基本概念讲述 什么是同步？ 同步就是：如果有多个任务或者事件要发生，这些任务或者事件必须逐个地进行，一个事件或者任务的执行会导致整个流程的暂时等待，这些事件没有办法并发地执行。 什么是异步？ 异步就是：如果有多个任务或者事件发生，这些事件可以并发地执行，一个事件或者任务的执行不会导致整个流程的暂时等
阅读全文
摘要：1.什么是反射？ 反射其实就是动态的加载类，我们在写JDBC的时候加载驱动Class.forName("xxx")时就涉及到了反射。 反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法
阅读全文
摘要：本文引用自 http://www.cnblogs.com/xdp-gacl/p/3971367.html 1.什么是代理 动态代理技术是整个java技术中最重要的一个技术，它是学习java框架的基础，不会动态代理技术，那么在学习Spring这些框架时是学不明白的。 动态代理技术就是用来产生一个对象的
阅读全文
摘要：基本概念介绍 进程：它是内存中的一段独立的空间，可以负责当前应用程序的运行。当前这个进程负责调度当前程序中的所有运行细节。 线程：它是位于进程中，负责当前进程中的某个具备独立运行资格的空间。 进程是负责整个程序的运行，而线程是程序中具体的某个独立功能的运行。一个进程中至少应该有一个线程，可以并发运行
阅读全文
摘要：概述 常用的多线程实现方式有2种： 1. 继承Thread类 2. 实现Runnable接口 之所以说是常用的，是因为通过还可以通过JUC(java.util.concurrent)包中的线程池来实现多线程。关于线程池的内容，我们以后会详细介绍；现在，先对的Thread和Runnable进行了解。
阅读全文
摘要：集合整体框架图 各集合框架的概述 1. Collection（常用List和Set，不常用Queue和Vector），单元素集合。 2. Map（常用HashMap和TreeMap，不常用HashTable），key-value映射关系。 3. Iterator（迭代器） 4. Comparable
阅读全文
