09 2021 档案
发表于 2021-09-29 08:54阅读次数:43评论次数:0
摘要:①mysql建表test1 ②cd /opt/module/sqoop进入scoop路径 ③ bin/sqoop export \ > --connect jdbc:mysql://master:3306/mysql \ > --username root \ > --password 000000
阅读全文 »
发表于 2021-09-29 08:12阅读次数:435评论次数:0
摘要:学习内容:数据导入,要求将CSV格式或者EXCEL格式的文件导入到HIVE数据仓库中; ①hive建表:test1 create table test1 (InvoiceNo String, StockCode String, Description String, Quantity String,
阅读全文 »
发表于 2021-09-20 11:15阅读次数:62评论次数:0
摘要:1.判断表是否存在 public static boolean isTableExit(String tableName) throws IOException { // //获取配置文件信息 // //HBaseConfiguration configuration=new HBaseConfig
阅读全文 »
发表于 2021-09-19 18:11阅读次数:65评论次数:0
摘要:代码示例: package com.atguigu.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.After; import org.junit.B
阅读全文 »
发表于 2021-09-15 10:21阅读次数:40评论次数:0
摘要:学习内容:Hbase安装 1.启动Hadoop集群(命令:start-all.sh) 2.启动Zookeeper(需要在master,s1,s2分别启动一遍。命令:bin/zkServer.sh start) 3.解压 Hbase 到指定目录:tar -zxvf hbase-1.3.1-bin.ta
阅读全文 »
发表于 2021-09-13 09:12阅读次数:64评论次数:0
摘要:学习内容:Zookeeper集群安装(Zookeeper版本:Zookeeper3.5.7;注:master,s1,s2都需要部署) 解压安装: (1)在主机 master 解压 Zookeeper 安装包到/opt/module/目录下 (命令:tar -zxvf apache-zookeeper
阅读全文 »
发表于 2021-09-11 08:52阅读次数:50评论次数:0
摘要:学习内容:Zookeeper本地安装 前提准备:①JDK安装成功 ②通过XShell7将Zookeeper安装包(apache-zookeeper-3.5.7-bin.tar.gz)拷贝到Linux系统 ③解压(命令:tar -zxvf apache-zookeeper-3.5.7- bin.tar
阅读全文 »
发表于 2021-09-09 11:20阅读次数:35评论次数:0
摘要:学习任务;解决9000端口丢失导致hadoop无法连接的问题 解决方法:格式化namenode 步骤: 1.进入hadoop/bin 2.输入命令:hadoop namenode -format(hdfs namenode -format 以前的方式) 3.然后进入hadoop/sbin 4.执行
阅读全文 »
发表于 2021-09-07 21:15阅读次数:33评论次数:0
摘要:学习任务: 1.解压jdk和hadoop包 2.安装jdk 3.修改hadoop配置文件 4.hadoop格式化 5.hadoop启动 出现的问题:hadoop可以正常启动,但是端口9000丢失,导致hadoop无法进行连接
阅读全文 »
发表于 2021-09-06 20:12阅读次数:30评论次数:0
摘要:学习任务: 1.对VMnet8进行设置 2.配置主机名,对host文件进行编辑 3.将Hadoop文件以及jdk通过Xshell7传输到Linux系统 4.设置免密登录
阅读全文 »
发表于 2021-09-05 21:08阅读次数:45评论次数:0
摘要:学习任务: 1.安装虚拟机 Linux使用版本为Centos7,共安装3台虚拟机,一台主机和两台从机。主机命名为master,两台从机分别命名为s1和s2。 master分配磁盘空间30G,s1和s2分别分配空间20G,内存均为1G 2.测试网络连接是否成功 命令:ping www.baidu.co
阅读全文 »