01 2022 档案

Hbase shell 操作记录
摘要：查看hbase版本 hbase(main):002:0> version 2.1.0-cdh6.2.0, rUnknown, Wed Mar 13 23:39:58 PDT 2019 Took 0.0003 seconds Hbase表空间概念 1、介绍 在HBase中，namespace命名空间指 阅读全文
posted @ 2022-01-29 00:13 明月照江江 阅读(162) 评论(0) 推荐(0) 编辑
hive 操作
摘要：库操作 创建数据库 create database db_test; 创建库的时候带注释 create database if not exists t2 comment 'learning hive'; 创建带属性的库 create database if not exists t3 with d 阅读全文
posted @ 2022-01-28 22:26 明月照江江 阅读(37) 评论(0) 推荐(0) 编辑
在Yarn集群上跑spark wordcount任务
摘要：准备的测试数据文件hello.txt hello scala hello world nihao hello i am scala this is spark demo gan jiu wan le 将文件上传到hdfs中 #创建hdfs测试目录 hdfs dfs -mkdir /user/spar 阅读全文
posted @ 2022-01-05 16:56 明月照江江 阅读(67) 评论(0) 推荐(0) 编辑
本地 maven + scala 跑spark wordcount
摘要：pom.xml 点击查看代码 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mav 阅读全文
posted @ 2022-01-05 12:16 明月照江江 阅读(78) 评论(0) 推荐(0) 编辑
spark 执行spark-example
摘要：1. 找到CDH 安装spark的目录 执行 which spark-shell /usr/bin/spark-shell 执行 ll /usr/bin/spark-shell lrwxrwxrwx 1 root root 29 12月 11 14:29 /usr/bin/spark-shell - 阅读全文
posted @ 2022-01-04 18:45 明月照江江 阅读(357) 评论(0) 推荐(0) 编辑
解决CDH 访问权限问题
摘要：CDH 6.2 安装好以后，直接使用root 或者 其他账号执行spark-shell 会报权限错误 22/01/04 17:46:28 ERROR spark.SparkContext: Error initializing SparkContext. org.apache.hadoop.secu 阅读全文
posted @ 2022-01-04 17:56 明月照江江 阅读(294) 评论(0) 推荐(0) 编辑
CDH6.2.0 搭建大数据集群
摘要：1. 资料准备 现在官网https://www.cloudera.com 需要注册账号，未来可能会收费等问题，十分麻烦，这里有一份我自己百度云的备份 链接: https://pan.baidu.com/s/1kh50Z2f9S09Ln8E8uOow8Q 提取码: b9jf 里面有一整套下载内容 比如 阅读全文
posted @ 2022-01-04 16:08 明月照江江 阅读(240) 评论(0) 推荐(0) 编辑