随笔分类 -  电信用户行为分析

hadoop电信用户行为分析
摘要：1.环境配置 先对每台服务器(虚拟机)进行环境配置 虚拟机:CentOS-7-x86_64-Minimal-1810 centOS7系统出现以下错误 ifconfig命令报错: ifconfig bash:ifconfig commend not found 显示没有这个指令：安装该指令 yum - 阅读全文
posted @ 2024-01-25 21:02 无名之辈的ggb 阅读(25) 评论(0) 推荐(0) 编辑
报错Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create Spark client for Spark session 768047b9-c7f7-459f-9220-5d8d7bdabefe)
摘要：在执行hive on spark的时候 上面的错误可能有以下几种问题： 1.版本问题 不匹配 2.时间参数问题 设置的参数太小了 3.在hive-site.xml文件中没有配置spark 的home 我的问题属于第一个问题导致没有跑成功 当时也在想是不是内存出现了问题 阅读全文
posted @ 2023-10-22 09:37 无名之辈的ggb 阅读(1193) 评论(0) 推荐(0) 编辑
hadoop集群 大数据项目实战_电信用户行为分析_day04
摘要：进行HIVE环境配置 1.上传相关的包 2.对上传的包进行下载和创建软连接 3.配置相关的文件 4.分别发送给其他机子 假设你需要在所有机器执行同一个指令，则你就需要相关设置 5.在hive的onf文件中创建hive-site.xml进行相关设置 ```xml<configuration> <-- 阅读全文
posted @ 2023-10-20 19:14 无名之辈的ggb 阅读(95) 评论(0) 推荐(0) 编辑
hadoop集群 大数据项目实战_电信用户行为分析_day03
摘要：配置系统环境 Reis 1.先把之前的dump.rdb删除掉 rm -rf dump.rdb 2.把原始项目给的dump.rdb 放进来，它里面包含了需要的数据，比如端口；在这部之前必须要进行关闭端口，随后传送文件，最后重启端口 相关指令: bin/redis-server conf/redis.c 阅读全文
posted @ 2023-10-19 09:47 无名之辈的ggb 阅读(93) 评论(0) 推荐(0) 编辑
hadoop集群 大数据项目实战_电信用户行为分析_day02
摘要：集群配置好后，运行一个小例子，统计单词 1.hdfs dfs -put 将本地系统的文件或文件夹复制到HDFS上 2.hdfs dfs -ls /output 将所有的文件显示出来 3.hdfs dfs -cat /output/ 将所有的文件读取出来 下载part-r-000000 安装Redis 阅读全文
posted @ 2023-10-16 09:22 无名之辈的ggb 阅读(52) 评论(0) 推荐(0) 编辑
hadoop集群 大数据项目实战_电信用户行为分析_day01
摘要：上图是相关配置的要求，主要创建了四个虚拟系统，有三台虚拟机搭建hadoop集群，一台作为业务系统。 涉及到相关的Linux指令有::set nu[显示行号] :6[到第6行 shift+G跳到最后一行 进入vi指令后查找相关东西/(你需要查找的东西) 1.配置环境、 第一步设置网络参数，设置静态网络 阅读全文
posted @ 2023-10-14 09:45 无名之辈的ggb 阅读(178) 评论(0) 推荐(0) 编辑
Hadoop启动集群报错:Starting namenodes on [hadoop01] hadoop01: root@hadoop01: Permission denied (publickey,gssapi-keyex,gssapi-with-mic,password).
摘要：搭建三个hadoop集群的时候,master没有启动namenode和datanode， 报错: Starting namenodes on [hadoop01]hadoop01: root@hadoop01: Permission denied (publickey,gssapi-keyex,gs 阅读全文
posted @ 2023-04-28 10:10 无名之辈的ggb 阅读(1273) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示