11 2023 档案
摘要：一、zookeeper搭建 1、上传安装包到master并解压 tar -xvf zookeeper-3.5.7.tar.gz 2、配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.5.7 export
阅读全文
摘要：一、Hadoop-HA 1.1 Hadoop1.x带来的问题 1、单点故障 a. 每个群集同一时刻只能有一个NameNode，NameNode存在单点故障（SPOF）。 b. 如果该计算机或进程不可用，则整个群集在整个NameNode重新启动或在另一台计算机上启动之前将不可用 c. 如果发生
阅读全文
摘要：一、写数据（宏观） 写数据就是将客户端上的数据上传到HDFS 1.客户端向HDFS发送写数据请求 hdfs dfs -put students.txt /shujia/ 2. Filesystem通过rpc调用namenode的put方法 a. nn首先检查是否有足够的空间权限等条件创建这个文件,或
阅读全文
摘要：Hadoop集群搭建（完全分布式版本） 一、准备工作 三台虚拟机：master、node1、node2 时间同步（3.x版本不用做） ntpdate ntp.aliyun.com 调整时区 3.x版本不用做） cp /usr/share/zoneinfo/Asia/Shanghai /etc/loc
阅读全文
摘要：一、Hadoop的发展史 Google 爬取全球的网站，然后计算页面的PageRank 要解决网站的问题： a：这些网站怎么存放 b：这些网站应该怎么计算 发布了三篇论文 a：GFS(Google File System) b：MapReduce(数据计算方法) c：BigTable-->HBase
阅读全文
摘要：一、Clickhouse概述 clickhouse 官网网址：https://clickhouse.com/ 借助官网的帮助文档进行学习，官方支持中文 OLTP(联机事务处理系统) 例如mysql等关系型数据库，在对于存储小数据量的时候，查询数据并分析速度很快，OLTP本身其实是一个逻辑上的概念，指
阅读全文
摘要：1、下载rpm文件 rpm和gz包的区别： # 文件类型： rpm是一种二进制文件格式，通常用于RedHat、CentOS等基于RPM包管理器的Linux发行版；而gz则是一种压缩文件格式，通常用于源代码或二进制可执行程序的发布。 # 安装方式： rpm可以通过命令行工具（例如yum或rpm命令）进
阅读全文
摘要：1. Redis 主从复制 1.1 主从复制 主从复制架构仅仅用来解决数据的冗余备份,从节点仅仅用来同步数据 无法解决: 1.master节点出现故障的自动故障转移 1.2 主从复制架构图 1.3 搭建主从复制(做之前拍快照) 第一步，创建三个目录代表三台机器，master,node1,node2
阅读全文
摘要：一、持久化机制 client redis[内存] > 内存数据- 数据持久化-->磁盘 Redis官方提供了两种不同的持久化方法来将内存的数据存储到硬盘里面分别是: 快照(Snapshot) AOF (Append Only File) 只追加日志文件 1、快照 ①特点：这种方式可以将某一时刻的所有
阅读全文
摘要：一、Redis概述 Redis 开源 遵循BSD 基于内存数据存储 被用于作为 数据库 缓存 消息中间件 总结: redis是一个内存型的非关系型数据库 redis特点 Redis是一个高性能key/value内存型数据库 在redis中，所有的数据形式都是以键值对的方式来存储的 Redis支持丰富
阅读全文
摘要：一、JDBC是什么？ Java DataBase Connectivity（Java语言连接数据库） 二、JDBC的本质是什么？ JDBC是SUN公司制定的一套接口(interface)。 接口都有调用者和实现者。 面向接口调用、面向接口写实现类，这都属于面向接口编程。 三、为什么要面向接口编程？
阅读全文
摘要：一、Git安装 概述： Git是一个开源的分布式版本控制系统，可以有效、高速的处理从很小到非常大的项目版本管理，是目前使用范围最广的版本管理工具。 下载安装： 下载地址：https://git-scm.com/ 下载后傻瓜式一键安装，建议安装在英文目录下 安装完成后在桌面右击哪看到以下Git选项即为
阅读全文
摘要：第一章 为什么使用Maven 获取jar包 使用Maven之前，自行在网络中下载jar包，效率较低。如【谷歌、百度、CSDN....】 使用Maven之后，统一在一个地址下载资源jar包【阿里云镜像服务器等...】 添加jar包 使用Maven之前，将jar复制到项目工程中，jar包添加到项目中，相
阅读全文
摘要：一、类的加载 类的加载 当程序要使用某个类时，如果该类还未被加载到内存中，则系统会通过加载，连接，初始化三步来实现对这个类进行初始化。 加载 ：就是指将class文件读入内存，并为之创建一个Class对象。 任何类被使用时系统都会建立一个Class对象。 连接 ：验证 是否有正确的内部结构，并和其他
阅读全文
摘要：一、网络编程概述 计算机网络： 是指将地理位置不同的具有独立功能的多台计算机及其外部设备，通过通信线路连接起来，在网络操作系统，网络管理软件及网络通信协议的管理和协调下，实现资源共享和信息传递的计算机系统。 网络编程： 就是用来实现网络互连的不同计算机上运行的程序间可以进行数据交换。 二、网络模型
阅读全文
摘要：一、多线程概述 1、进程： 正在运行的程序，是系统进行资源分配和调用的独立单位。 每一个进程都有它自己的内存空间和系统资源。 2、线程： 是进程中的单个顺序控制流，是一条执行路径 一个进程如果只有一条执行路径，则称为单线程程序。 一个进程如果有多条执行路径，则称为多线程程序。 3、Java程序运行原
阅读全文
摘要：一、异常 概述：Java程序出现了不正常的现象 继承体系： Throwable:： Error: 表示很严重的问题，一般情况下不解决 Exception：编译时期异常：写代码的过程，编译错误是不会产生class文件，一般情况下是因为我们自己的原因导致或者代码本身抛出了一个编译时期异常 Runtime
阅读全文
摘要：一、泛型 概述：将引用数据类型向参数一样进行传递 泛型的好处：对于大数据学习过程中，大部分情况下，泛型只会出现在集合的知识点中 1、去除了大量的黄色警告线，让程序美观且严谨 2、获取元素的时候，不需要再向下转型了 定义格式：泛型类，泛型接口，泛型方法 高级定义格式： <?> 任意类型，如果没有明确，
阅读全文
摘要：一、集合概述 集合的特点如下： 动态大小：集合可以根据需要动态调整大小，不像数组需要提前指定大小。 灵活性：集合提供了各种不同类型的数据结构和容器，例如列表、集、映射、队列等，以满足不同的存储和操作需求。 高效性：Java集合框架中的实现类经过优化，提供高效的插入、删除和查找操作。例如，ArrayL
阅读全文
摘要：一、Arrays类 概述：java提供给我们专门对数组做操作的工具类，该类包含用于操作数组的各种方法（如排序和搜索） 成员方法： public static String toString(int[] a) int数组转字符串 public static void sort(int[] a) 默认是
阅读全文
摘要：一、String类 概述：是字符串的对象描述类，java中任意一个字符出都是该类的对象(实例)。 它们的值在创建后不能被更改。 构造方法：public String() public String(byte[] bytes) 将字节数组变成字符串 public String(byte[] bytes
阅读全文
摘要：一、Object类 Object：Class Object是类Object结构的根。 每个Class都有Object作为超类。 所有对象（包括数组）都实现了这个类的方法。 成员方法： public int hashCode() 用来生成对象的唯一哈希码（hash code），它是用来快速比较两个对象
阅读全文
摘要：一、多态介绍 概述：顾名思义就是事物在某种时刻的多种状态 前提；1、要有继承关系 2、要有方法的重写 3、要有父类的引用指向子类对象 访问成员的特点： 访问成员变量：编译看左，运行看左 访问成员方法：编译看左，运行看右 访问静态成员方法：编译看左，运行看左 多态的弊端：无法访问子类特有的成员方法（可
阅读全文
摘要：一、概述 继承的概述：将多个类相同的部分使用同一个类括起来，其他类与这个类产生继承关系，这样其他类就包含了这个类的成员 关键字：extends 描述：class A extends B(){ } A:子类，派生类 B:父类，超类，基类 特点： java中类与类之间只能单继承，不能多继承； 类和类之间
阅读全文
摘要：一、成员变量与局部变量的区别 1. 作用域（Scope）：成员变量的作用域是整个类，在类的任何地方都可以访问。而局部变量的作用域通常限于定义它的代码块内部，只能在该代码块内使用。 2. 生命周期（Lifetime）：成员变量的生命周期与对象的生命周期相同，当对象创建时被初始化，直到对象被销毁。而局部
阅读全文
摘要：一、概述 1、什么是面向对象？ 面向过程：代表语言 C语言 实现功能的每一步都需要我们参与实现，在此之前写的所有程序都是面向过程的思想 面向对象：代表语言，java python 我们从参与者变成了指挥者 2、这两个思想的举例： 喝水： 面向过程思想解释： 拿起水杯 -- 自己走到饮水机面前 --
阅读全文
摘要：一、JVM内存的划分 堆：存储的是局部变量和方法的调用 栈：存储的是new出来的对象 方法区：用于存储类的元数据信息 本地方法区：用于存储Java程序中调用本地方法（Native Method）的相关信息。本地方法通常用于访问底层系统资源或执行与平台相关的操作，例如操作系统API调用、硬件访问等。
阅读全文
摘要：一、方法的定义 权限修饰符 返回值类型 方法名(参数列表){ 方法体; return 返回值; } 注意： 1、当类作为方法的参数类型传递的时候，调用时传入的是该类的对象的地址值 2、每new一次，都会在堆内存中开辟一个新的空间 二、方法的分类 1、有参数有返回值的方法： 举例： public st
阅读全文
摘要：一、顺序结构 根据代码的书写顺序进行执行代码 二、选择结构 if选择语句： 格式1：if(关系表达式){ 语句体; } 格式2：if(关系表达式){ 语句体1; }else{ 语句体2; } 格式3：if(关系表达式){ 语句体1; }else{ 语句体2; }…… 格式4：if(关系表达式1){
阅读全文
摘要：一、运算符 分类： 算术运算符：+，-，*，/，++，-- 赋值运算符：=，+=，-=，*=，/=，%= 关系运算符：==，>，<，>=，<=，!= 逻辑运算符：&，|，^，~，||，&& 位运算符：&，|，^，~，<<，>>，>>> 三目运算符：（关系表达式）?表达式1:表达式2； package
阅读全文
摘要：1、关键字 关键字是被java语言赋予特殊含义的单词，其中goto和const作为保留字存在，字母都是小写 2、标识符 用于起名字的规则，对变量，类，接口等起名字的字符序列 规则：可以使用大小写字母，可以存在数字。可以使用$和_ 注意事项：不能以数字开头，不能与关键字重名，区分大小写，见名知意 常见
阅读全文
