随笔分类 -  dov003-spark

1 2 下一页

|NO.Z.10000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:06 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00013|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 16:06 yanqi_vip 阅读(19) 评论(0) 推荐(0) 编辑

|NO.Z.00011|——————————|Deployment|——|Hadoop&Spark环境部署.v11|——|Hive.v01|部署安装|
摘要:一、Hive安装配置 ### 环境准备 ~~~ Hive官网:http://hive.apache.org ~~~ 下载网址:http://archive.apache.org/dist/hive/ ~~~ 文档网址:https://cwiki.apache.org/confluence/displ 阅读全文

posted @ 2022-04-17 16:05 yanqi_vip 阅读(22) 评论(0) 推荐(0) 编辑

|NO.Z.00012|——————————|Deployment|——|Hadoop&Spark环境部署.v12|——|Hive.v02|Hive.metastore|HiveServer2|HCatalog|
摘要:一、metastore远程模式配置规划: 节点 metastore client Hadoop01 √ Hadoop02 √ Hadoop03 √ 二、配置并启动HiveServer服务 ### 将Hadoop02 的 hive 安装文件拷贝到Hadoop01、Hadoop03并配置 [root@h 阅读全文

posted @ 2022-04-17 16:05 yanqi_vip 阅读(30) 评论(0) 推荐(0) 编辑

|NO.Z.00009|——————————|^^ 重要 ^^|——|Hadoop&Spark环境部署.v09|——|Hadoop.v09|map$reduce参数调整.v01|
摘要:附录一:报错处理一: ### 报错现象: ~~~ 卡在这个位置不会动,数据没有加载 ~~~ 在执行这个的时候,把history打开,用于监控错误信息 [root@hadoop02 ~]# sh $SCRIPT_HOME/dwd_load_startlog.sh 2020-07-21 Cannot r 阅读全文

posted @ 2022-04-17 16:04 yanqi_vip 阅读(13) 评论(0) 推荐(0) 编辑

|NO.Z.00010|——————————|^^ 重要 ^^|——|Hadoop&Spark环境部署.v10|——|Hadoop.v10|map$reduce参数调整.v02|
摘要:附录一:Mapreduce内存参数调整一: # 在mapreduce配置文件下配置 [root@hadoop02 ~]# vim /opt/yanqi/servers/hadoop-2.9.2/etc/hadoop/mapred-site.xml <!-- 设置map、reduce合理内存参数 -- 阅读全文

posted @ 2022-04-17 16:04 yanqi_vip 阅读(20) 评论(0) 推荐(0) 编辑

|NO.Z.00008|——————————|Deployment|——|Hadoop&Spark环境部署.v08|——|Hadoop.v08|历史日志|服务配置|
摘要:一、配置历史服务器 ### 在Yarn中运行的任务产生的日志数据不能查看, ~~~ 为了查看程序的历史运行情况,需要配置一下历史日志服务器。具体配置步骤如下: ### 配置mapred-site.xml [root@hadoop01 ~]# vim /opt/yanqi/servers/hadoop 阅读全文

posted @ 2022-04-17 16:03 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

|NO.Z.00006|——————————|Deployment|——|Hadoop&Spark环境部署.v06|——|Hadoop.v06|集群启动|单节点启动|
摘要:一、启动HDFS集群 ### 启动集群注意事项 ~~~ # 注意:如果集群是第一次启动,需要在Namenode所在节点格式化NameNode, ~~~ # 非第一次不用执行格式化Namenode操作!! 二、单节点启动:格式化NameNode ### 单节点启动 ~~~ # 所有节点执行 [root 阅读全文

posted @ 2022-04-17 16:02 yanqi_vip 阅读(26) 评论(0) 推荐(0) 编辑

|NO.Z.00007|——————————|Deployment|——|Hadoop&Spark环境部署.v07|——|Hadoop.v07|集群测试|
摘要:一、集群测试 ### HDFS 分布式存储初体验 ~~~ 从linux本地文件系统上传下载文件验证HDFS集群工作正常 ~~~ HDFS访问地址:http://hadoop01:50070/ ~~~ # 本地hoome目录创建一个文件 [root@hadoop01 ~]# vim test.txt 阅读全文

posted @ 2022-04-17 16:02 yanqi_vip 阅读(8) 评论(0) 推荐(0) 编辑

|NO.Z.00004|——————————|Deployment|——|Hadoop&Spark环境部署.v04|——|Hadoop.v04|集群组件部署|
摘要:一、集群配置 ### # Hadoop集群配置 = HDFS集群配置 + MapReduce集群配置 + Yarn集群配置 ### # HDFS集群配置 ~~~ 将JDK路径明确配置给HDFS(修改hadoop-env.sh) ~~~ 指定NameNode节点以及数据存储目录(修改core-site 阅读全文

posted @ 2022-04-17 16:01 yanqi_vip 阅读(12) 评论(0) 推荐(0) 编辑

|NO.Z.00005|——————————|Deployment|——|Hadoop&Spark环境部署.v05|——|Hadoop.v05|rsync-script脚本编写|
摘要:一、分发配置:rsync-script命令详解 ### 编写集群分发脚本rsync-script ~~~ rsync 远程同步工具 ~~~ rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。 ~~~ rsync和scp区别:用rsync做文件的复制要比scp的速度快,r 阅读全文

posted @ 2022-04-17 16:01 yanqi_vip 阅读(7) 评论(0) 推荐(0) 编辑

|NO.Z.00003|——————————|Deployment|——|Hadoop&Spark环境部署.v03|——|Hadoop.v03|环境变量配置|
摘要:一、集群规划 hadoop1 hadoop2 hadoop3 NameNode √ SecondaryNameNode √ DataNode √ √ √ ResourceManager √ DataManager √ √ √ Hive √ √ √ HiveServer2 √ 二、HDFS和YARN集 阅读全文

posted @ 2022-04-17 16:01 yanqi_vip 阅读(15) 评论(0) 推荐(0) 编辑

|NO.Z.00002|——————————|Deployment|——|Hadoop&Spark环境部署.v02|——|Hadoop.v02|虚拟机环境准备|
摘要:一、Apache Hadoop 完全分布式集群搭建 ### 软件和操作系统版本 ~~~ Hadoop框架是采用Java语言编写,需要java环境(jvm) ~~~ JDK版本:JDK8版本 ### 集群: ~~~ 知识点学习:统一使用vmware虚拟机虚拟五台linux节点,linux操作系统:Ce 阅读全文

posted @ 2022-04-17 16:00 yanqi_vip 阅读(15) 评论(0) 推荐(0) 编辑

|NO.Z.00001|——————————|Deployment|——|Hadoop&Spark环境部署.v01|——|Hadoop.v01|基础环境配置|
摘要:一、配置环境规划 ### vmware、linux版本 ~~~ vmware版本:VMware-workstation-full-15.5.5-16285975.exe ~~~ Linux版本:CentOS-7-x86_64-DVD-1810.iso ### Linux主机配置参数 ~~~ CPU: 阅读全文

posted @ 2022-04-17 15:59 yanqi_vip 阅读(4) 评论(0) 推荐(0) 编辑

|NO.Z.00000|——————————|Deployment|——————————————————————————————————————
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:59 yanqi_vip 阅读(3) 评论(0) 推荐(0) 编辑

|NO.R.00009|——————————|Navigation|————|服务启动导航.v04|————|Redis.v01|环境部署|
摘要:一、Redis单机版安装和使用 ### 安装C 语言需要的GCC 环境 [root@hadoop ~]# yum install -y gcc-c++ [root@hadoop ~]# yum install -y wget ### 下载并解压缩Redis 源码压缩包 [root@hadoop so 阅读全文

posted @ 2022-04-17 15:58 yanqi_vip 阅读(7) 评论(0) 推荐(0) 编辑

|NO.R.10000|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:58 yanqi_vip 阅读(3) 评论(0) 推荐(0) 编辑

|NO.R.00007|——————————|Navigation|————|服务启动导航.v02|————|ZookeeperKafka.v02|集群环境搭建|
摘要:一、集群搭建:搭建设计 ### 分配三台Linux,用于安装拥有三个节点的Kafka集群。 Hadoop01 192.168.1.111 Hadoop02 192.168.1.122 Hadoop03 192.168.1.133 一、部署kafka集群:配置hosts文件 ### 以上三台主机的/e 阅读全文

posted @ 2022-04-17 15:57 yanqi_vip 阅读(11) 评论(0) 推荐(0) 编辑

|NO.R.00008|——————————|Navigation|————|服务启动导航.v03|————|KafkaEagle.v03|环境部署|
摘要:一、部署kafka-eagle:开启kafka节点的JMX ### 下载并解压kafka-eagle部署包 ~~~ # 下载编译好的包 [root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip [root@ 阅读全文

posted @ 2022-04-17 15:57 yanqi_vip 阅读(34) 评论(0) 推荐(0) 编辑

|NO.R.00005|——————————|Navigation|~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
摘要:NO: Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of 阅读全文

posted @ 2022-04-17 15:56 yanqi_vip 阅读(6) 评论(0) 推荐(0) 编辑

1 2 下一页
< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

点击右上角即可分享
微信分享提示