222wan

导航

随笔分类 -  每日总结

mapreduce单词统计
摘要:首先打开虚拟机,启动好finallshell, 然后启动zookeeper,启动hadoop集群 然后打开本机上的hadoop文件 根据下面这个目录找到MapReduce 找到MapReduce中的sources 找到这个文件解压 根据这个路径名找到wordcount.java hadoop-map 阅读全文

posted @ 2023-11-13 23:20 角落的蘑菇 阅读(18) 评论(0) 推荐(0) 编辑

大数据分析案例--日志分析
摘要:具体操作和上次课堂测试类似,可视化代码更是比上次简单 这里只展示datagrip里的sql语句 这里不包括日期的清洗,日期的清洗有些困难,请教同学后知道怎样清洗,具体写在下一节 create table `past`( `ip` string, `Date` string, `day` string 阅读全文

posted @ 2023-10-14 01:04 角落的蘑菇 阅读(60) 评论(0) 推荐(0) 编辑

hive清洗数据sql语句报错
摘要:在本次的测试中sql语句清洗数据时下面,同时观察第一个语句中Date为啥要加这个单引号,原因是Date是sql语句里的可以说是一个关键字的存在,所以必须要单独引用起来以示区别 insert overwrite table article select ip as ip ,`Date` as `Dat 阅读全文

posted @ 2023-10-13 22:38 角落的蘑菇 阅读(21) 评论(0) 推荐(0) 编辑

启动hive报错:Cannot create directory /tmp/hive. Name node is in safe mod
摘要:在使用:start-all.sh 命令启动完hadoop之后再启动metastore服务使用 /export/server/hive/bin/hive --service metastore 启动远程连接服务再输入命令 /export/server/hive/bin/hive 启动hive 但是无法 阅读全文

posted @ 2023-09-22 09:57 角落的蘑菇 阅读(261) 评论(0) 推荐(0) 编辑

每日总结
摘要:今天又测试了一下hbase 的安装hbase的启动没有任何问题但是phoenix 的安装还是不行,已经按照步骤一步步的安装但是每次到启动的前一句就会卡住着了各种各样的解决方法还是不行,有同学问题和我一样但是用他的就能成功但是我的就不行,莫名其妙哦。 然后今天复习了软考的基础知识,将前面关于系统硬件的 阅读全文

posted @ 2023-09-20 21:23 角落的蘑菇 阅读(5) 评论(0) 推荐(0) 编辑