08 2022 档案
摘要：hadoop项目之求出每年二月的最高气温（Combiner优化） 一、项目结构 一、java实现随机生成日期和气温 package com.shujia.weather; import java.io.BufferedWriter; import java.io.FileWriter; import
阅读全文
摘要：Hadoop-MapReduce 一、MapReduce设计理念 map >映射 reduce >归纳 mapreduce必须构建在hdfs之上的一种大数据离线计算框架 在线：实时数据处理 离线：数据处理时效性没有在线那么强，但是相对也需要很快得到结果 mapreduce不会马上得到结果，他
阅读全文
摘要：Hadoop HA(高可用) 一、hadoop1.x的问题 1.单点故障 每个集群只有一个NameNode，NameNode存在单点故障（SPOF） 如果该计算机或者NameNode进程不可用，那么整个集群在NameNode重启或在另一台计算机上启动之前不可用 计划内的维护事件，例如NameNode
阅读全文
摘要：HDFS的读写流程——宏观与微观 HDFS：分布式文件系统，负责存放数据 分布式文件系统：就是将我们的数据放到多台电脑上存储。 **写数据：**就是将客户端上的数据上传到HDFS 宏观过程 客户端向HDFS发送读写数据请求 hdfs dfs -put student.txt /shujia/ 客户端
阅读全文
摘要：Java操作HDFS ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.fs.permission.FsPermission; im
阅读全文
摘要：Hadoop的由来、Block切分、进程详解 一、hadoop的由来 Google发布了三篇论文: GFS(Google File System) MapReduce(数据计算方法) BigTable：Hbase Doug cutting 花费了两年的业余时间实现了前两篇论文，并重新命名为HDFS和
阅读全文
摘要：1、停止正在运行的集群 stop-all.sh 2、删除所有节点hadoop根目录中的tmp文件夹 3、在主节点（master）中hadoop的根目录中的bin目录下，重新格式化HDFS ./hdfs namenode -format 4、启动集群 start-all.sh
阅读全文
摘要：Hadoop集群搭建 一、准备 三台虚拟机：master01，node1,node2 时间同步 1.date命令查看三台虚拟机时间是否一致 2.不一致时间同步：ntpdate ntp.aliyun.com 调整时区 cp /usr/share/zoneinfo/Asia/Shanghai /etc/
阅读全文
摘要：Redis架构之哨兵机制与集群 哨兵机制 1、介绍： Sentinel（哨兵）是redis高可用性解决方案：由一个或多个由一个或多个Sentinel 实例 组成的Sentinel 系统可以监视任意多个主服务器，以及这些主服务器属下的所有从服务器，并在被监视的主服务器进入下线状态时，自动将下线主服务器
阅读全文
摘要：位图 1.bitmap介绍 位图不是真正的数据类型，它是定义在字符串类型中，一个字符串类型的值最多能存储512M字节的内容 那么一个字符串的位上限就是：512M=2^32bit 2.位图的一些命令 setbit 设置某一位上的值 语法：SETBIT key offset value （offset位
阅读全文
摘要：Redis的两种持久化机制 1、持久化机制 client >redis(内存) >内存数据-数据持久化 >磁盘 两种方法 快照（Snapshot） AOF（Append Only File）只追加日志文件 2、快照 2.1 特点 这种方式可以将某一时刻的所有数据写入到硬盘中，这也是redis的默认开
阅读全文
摘要：Redis主从复制 主从复制架构仅仅用来解决数据的冗余备份，从节点仅仅用来同步数据。如果主节点因为某些原因出现了故障导致宕机，无法接收数据，那么从节点也会与主节点断开连接。 无法解决：master（主）节点出现故障的自动故障转移 1.主从架构图 2.演示——搭建主从复制架构（做之前要拍快照，防止出现
阅读全文
摘要：Redis之五大类型常用指令 redis的一些小知识 redis服务器端口默认是6379 在编译完成后的bin目录下启动服务端：redis-server 客户端连接操作：redis-cli -h localhost -p 6379，如果是一台机器可以省略后面的：redis-cli (备注：可以复制r
阅读全文
摘要：MySQL之JDBC 一、JDBC是什么 Java DatabaseConnectivity （java语言连接数据库） 二、JDBC的本质 JDBC是SUN公司制定的一套接口(interface)。 接口都有调用者和实现者。 面向接口调用、面向接口写实现类，这都属于面向接口编程。 三、为什么要面向
阅读全文
摘要：Git学习与码云实战 一、Git安装 概述： Git是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理，是目前使用范围最广的版本管理工具。 下载安装： 下载地址：https://git-scm.com/ 下载后傻瓜式一键安装，建议安装在英文目录下 右击桌面，能够看到如下
阅读全文
摘要：Maven使用与学习 一、Maven是什么 maven像是一种管理的工具，实现的原理是使用插件。比如说，一个公司需要做一个项目，这个项目被分成了很多模块，每个模块又分成了许多的业务，这些最后都需要整合到一起。那么就会出现一个很大的问题，在项目开发中每个人使用的jar包版本、软件版本等如果不一样的话，
阅读全文
摘要：数据库的定义 数据库是按照数据结构来组织、存储和管理数据的建立在计算机存储设备上的仓库 分类 非结构化数据： 数据相对来说没有固定的特点 半结构化数据： 数据之间有着相同的存储结构 属性 值 每一条数据的属性可以不同 结构化数据： 创建在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数
阅读全文
摘要：shell名词解释 Kernel：Linux内核，主要是为了和硬件打交道 shell： 是一个命令行解释器，接收用户命令/应用程序，然后调用操作系统内核。还是一个程序设计语言。 查看当前shell解释器和系统支持的shell解释器（我这里用的是centos7的镜像） shell的两大主流 sh： B
阅读全文
摘要：ll 列出当前目录下的文件，带文件信息 ls 列出当前目录下的文件，只有名字 ls -a 列出当前目录下的所有文件，包括隐藏文件 cd .. 切换到上一级目录 cd / 切换到根目录 cd ~ 切换到用户主目录 su 切换用户 pwd 列出当前目录路径 mkdir 创建目录 mkdir -p 可以递
阅读全文
