06 2021 档案
摘要：Kafka 第1章 Kafka概述 1.1 Kafka是什么 在流式计算中，Kafka一般用来缓存数据，Storm和Spark通过消费Kafka的数据进行计算。 1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 2）Kafka最
阅读全文
摘要：Flume 1. Flume解决的问题 2. Flume概念 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 3. Flume的工作机制 4. Flume组成架构 4.1. Agent Agent是一个JVM进程，
阅读全文
摘要：Hadoop第六天 1. Yarn资源调度 1.1. Yarn概述 Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而MapReduce等运算程序则相当于运行于操作系统之上的应用程序。 1.2. Yarn基本架构 YARN主要由ResourceManag
阅读全文
摘要：Hadoop第五天1.MapReduce框架原理1.1.MapTask并行度决定机制问题:maptask的并行度决定map阶段的任务处理并发度，进而影响到整个job的处理速度。那么，mapTask并行任务是否越多越好呢？ 一个job的map阶段MapTask并行度（个数），由客户端提交job时的切片
阅读全文
摘要：Hadoop第四天 1. 作业题 统计每个手机号消耗的流量: 上传流量 下载流量 总流量 1.1. 封装序列化对象 package com.hotdas.mr.bean;import org.apache.hadoop.io.Writable;import java.io.DataInput;imp
阅读全文
摘要：Hadoop第三天 1. HDFS读数据流程 1.客户端通过Distributed FileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件存放的DataNode地址. 2.挑选一台近的DataNode节点,请求下载数据. 3.DataNode传输数据到客户端,(
阅读全文
摘要：Hadoop第二天 1. HDFS的java客户端 1.1. 解决log4j错误警告 log4j.rootLogger=INFO, stdoutlog4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.la
阅读全文
摘要：Hadoop第一天 1. 数据的分布式存储 2. 什么是HDFS? 海量数据是存储在集群上的(利用多台机器作为存储资源) 多台机器组成一个有组织的群体(主节点,从节点) 从节点启动后,向主节点汇报自已的资源 主节点接收到从节点的注册后,维护集群(列表有几个节点,每个节点的存储容量信息) 客户端存储数
阅读全文
摘要：maven项目管理工具入门到精通 1. 课程安排 maven入门 概念 配置 maven进阶-配置详解 搭建私服(第三方仓库) 2. maven入门 2.1. 为什么产生maven管理工具 jar包: 依赖 使用maven管理软件的依赖(jar),避免团队反复的复制(jar) maven管理工具具有
阅读全文
摘要：Shell编程 1.1 概述 Shell是一个命令行解释器，它为用户提供了一个向Linux内核发送请求以便运行程序的界面系统级程序，用户可以用Shell来启动、挂起、停止甚至是编写一些程序。 Shell还是一个功能相当强大的编程语言，易编写、易调试、灵活性强。Shell是解释执行的脚本语言，在She
阅读全文
摘要：打开xshell5连接虚拟机（比较方便，这里默认设置过Linux的ip，只是不固定） 输入ifconfig，可以查看网管相关配置信息： 然后输入 vim /etc/sysconfig/network-scripts/ifcfg-ens33命令。修改网卡配置文件 然后在下面创建两个值ip和子网掩码加在
阅读全文
摘要：Zookeeper 1. Zookeeper概述 1.1 概述 Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目。 1.2 特点 1）Zookeeper：一个领导者（leader），多个跟随者（follower）组成的集群。 2）Leader负责进行投票的发起和决议
阅读全文
摘要：官网https://git-scm.com/下载太慢了. 如果国外的一些软件,官网下载太慢的话,可以找一下国内镜像. 淘宝镜像下载:https://npm.taobao.org/mirrors/git-for-windows 直接拉到底下,下载最新版的. 5.选择适合自己的版本. 6.安装就是无脑下
阅读全文
摘要：按Ctrl+Shift+A，出现搜索框 点击打开这个设置：勾选图一划线部分,取勾图二部分 点击ok，之后就可以通过Ctrl+滚轮 调整字体大小了。 仅供参考，有错误还请指出！ 有什么想法，评论区留言，互相指教指教。 觉得不错的可以点一下右边的推荐哟
阅读全文
摘要：转发：https://www.cnblogs.com/LXL616/p/10992256.html 集群分发脚本:xsync #!/bin/bash #1 获取输入参数个数，如果没有参数，直接退出 pcount=$# if((pcount==0)); then echo no args; exit;
阅读全文
摘要：下载网址：https://www.snipaste.com/download.html# 使用 Snipaste 提高您的工作效率 Snipaste 是一个简单但功能强大的截图工具，还允许您将屏幕截图固定回屏幕。下载并启动应用程序，按F1开始截图，然后按F3将其粘贴为浮动窗口。就是这样！ 您还可以将
阅读全文
摘要：最近CentOS 6已经停止更新支持，同时官方也把yum源删除了，目前CentOS 6系统使用yum命令安装软件包基本都是失败，因此需要更换yum源。 在ssh界面执行以下命令即可一键更换yum源为CentOS的Vault源（包括CentOS官方和阿里云的源）： wget -O /etc/yum.r
阅读全文
