大数据学习

 

 

 

 

大数据:

　　1.分为2类方向

　　　　1.实时方向

　　　　2.离线方向

　　2.3个技术栈:

　　　　1.hdoop技术栈

　　　　2.spark技术栈

　　　　3.flink技术栈

　　3.hadoop和spark是技能体系

　　4.生成ssh秘钥命令:

　　　　ssh-keygen -t rsa -b 4096

　　5.每天机器之间建立互信,免密登录

　　　　ssh-copy-id node1

　　　　ssh-copy-id node2

　　　　ssh-copy-id node3

　　6.创建hadoop用户,设置相关hadoop密码

　　7.设置hadoop账号之间的免密登录

　　8.需要安装java环境

　　　　1.创建文件夹,用来部署jdk,讲jdk和tomcat都按照部署到:/export/server内

　　　　　　mkdir -p /export/server

　　　　2.加压jdk安装文件

　　　　　　tar -zxvf jdk-8u351-linux-x64.tar.gz -c  /export/server

　　　　3.配置jdk的软连接

　　　　　　ln -s /export/server/jdk1.8.0_351 /export/server/jdk

　　　　4.配置JAVA_HOME环境变量,以及讲$JAVA_HOME/bin文件加入PATH环境变量中

　　　　　　vi /etc/profile文件

　　　　　　export JAVA_HOME=/export/server/jdk

　　　　　　export PATH=$JAVA_HOME/bin

　　　　5.关闭防火墙

　　　　6.关闭selinux

　　　　7.时区同步和网络同步

　　　　8.

　　9.公有云配置

　　　　1.基础网络配置--->外网防火墙(安全组)

　　　　2.创建主机

　　10.apache hadoop是一款开源的分布式处理技术栈

　　　　1.hadoop HDFS:分布式数据存储技术

　　　　2.hadoop MapReduce:分布式数据计算技术

　　　　3.Hadoop YARN:分部署资源调度技术

 　　2008年以后:

　　　　1.Apache HbaseNoSql数据库

　　　　2.Apache Kafka 分布式消息队列

　　　　3.Apache Spark 分布式内存计算引擎

　　　　4.Apache Flume流式数据传输工具

　　　　5.Apache Hive 分布式sql平台

　　　　6.Apache Flink 流计算平台

　　特征:

　　　　1.体积

　　　　2.种类

　　　　3.价值

　　　　4.速度

　　　　5.质量

 

 Hadoop安装:

 

 

 4个配置文件

 5.

 

 6.

 7.

 

 

 不良平台操作实例: hadoop fs -mkdir -p hdfs://NameNode1:8020/tmp/20231225yyp5.txt

不良信息操作实例:修改已存在文件的副本数,默认是3个副本:

　　　　hadoop fs -setrep -R 3 hdfs://NameNode1:8020/tmp/20231225yyp12.txt

 

 HDFS文件系统只支持删除和追加文件系统

 

以4个副本进行上传文件:

　　hadoop fs -D dfs.replication=4 -put test.txt hdfs://NameNode1:8020/tmp/20231225yyp12.txt

以4个副本进行创建目录

　　 hadoop fs -D dfs.replication=4 -mkdir  hdfs://NameNode1:8020/tmp/20231225yyp1234.txt

检查文件的副本数,块数:

　　hadoop fsck  hdfs://NameNode1:8020/tmp/20231225yyp12.txt -files -blocks -locations

MapReduce是"分散->汇总"模式的分布式计算框架

　　MapReduce提供了2个编程接口:

　　　　1.Map:提供分散功能

　　　　2.Reduce:提供了聚合功能

 

 

 

 

 

yarn的启动:

 

hadoop的MapReduce进行文件单词统计:

 

 

hive两大功能组件:

　　1.元数据管理

　　2.sql解析器

 

大数据的需要通过BI报表来进行展示

BI:Business Intelligence 商业智能

常用的BI软件:

　　FineBI

　　SuperSet

　　PowerBI

　　TableAu