Hive大全
摘要：Hive是基于Hadoop的一个数据仓库，可将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。其实，Hive的本质是将HiveSQL语句转化成MapReduce任务执行。 count(*)、count(1) 、count('字段名') 区别： count(*)包括了所有的列，相当于行数，
阅读全文
posted @ 2021-09-26 20:46
09 2021 档案
Hive安装
摘要：1.解压hive文件 tar -zxvf /usr/local/moudle/apache-hive-1.2.1-bin.tar.gz -C /usr/local/soft/ 2.修改目录名称： mv apache-hive-1.2.1-bin hive-1.2.1 3.进入hive-1.2.1下的
阅读全文
posted @ 2021-09-25 15:26
HDFS
摘要：1.Client：就是客户端 文件切分。文件上传 HDFS 的时候，Client 将文件切分成一个一个的 Block，然后进行上传 与 NameNode 交互，获取文件的位置信息 与 DataNode 交互，读取或者写入数据 Client 提供一些命令来管理 HDFS，比如 NameNode 格式化
阅读全文
posted @ 2021-09-24 21:27
Hadoop的高可用搭建
摘要：在已经安装完hadoop单机和zookeeper前提下 1.免密钥 在node1下。因为node1作为备用主机，并且master我已经实现了免密 ssh-keygen -t rsa 分发秘钥 ssh-copy-id -i master ssh-copy-id -i node1 ssh-copy-id
阅读全文
posted @ 2021-09-24 19:56
zookeeper的JAVA API使用
摘要：1.创建连接 2.创建节点 3.监听信息 Watcher.class 4.获取节点 Stat stat = new Stat(); zk.getData(Path,true,stat); 5.修改节点数据 -1表示忽略版本 zk.setData("/test1", "testok".getBytes
阅读全文
posted @ 2021-09-24 18:27
zookeeper安装
摘要：1.解压 tar -xvf zookeeper-3.4.6.tar.gz -C /usr/local/soft/ 2.配置环境变量 vim /etc/profile export ZOOKEEPER_HOME=/usr/local/soft/zookeeper-3.4.6 export PATH=$
阅读全文
posted @ 2021-09-23 18:27
WordCount基于本地和java的使用
摘要：直接使用hadoop中的wordcount中的jar包进行使用 JAVA实现WordCount import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.F
阅读全文
posted @ 2021-09-23 00:15
HDFS连接JAVA，HDFS常用API
摘要：先在pom.xml中导入依赖包 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hadoop/hadoop-hdfs --> <dependency> <groupId>org.apache.hadoop</grou
阅读全文
posted @ 2021-09-18 21:44
HDFS基本命令
摘要：1.创建目录 hadoop dfs -mkdir /data hadoop dfs -mkdir -p /data/data1 创建多级目录 2.查看文件 hadoop dfs -ls / 3.上传文件 hadoop dfs -put /usr/local/data/ /data 4.下载文件 ge
阅读全文
posted @ 2021-09-18 19:54
Hadoop 2.x安装
摘要：1、关闭防火墙 systemctl stop firewalld.service #停止firewallsystemctl disable firewalld.service #禁止firewall开机启动 查看防火墙状态firewall-cmd --state systemctl status f
阅读全文
posted @ 2021-09-17 20:23
redis的集群安装
摘要：1、创建安装目录 在master ,node1 ,node2中分别创建 mkdir /usr/local/soft/redis-cluster 2、将redis 复制到redis-cluster 目录下修改名字为7000 cp -r /usr/local/soft/redis /usr/local/
阅读全文
posted @ 2021-09-17 16:35
redis命令
摘要：基本命令 进入redis下的bin目录启动redis-cli Ctrl+C便可以退出redis模式 ps -aux|grep redis：查看当前redis当前进程 kill -9 xxx（端口号）：关闭进程 ./redis-server redis.conf：开启进程（在bin目录下） nohup
阅读全文
posted @ 2021-09-13 23:10
json
摘要：package jsonTask; import com.google.gson.Gson; import java.util.HashMap; public class Demo2Gson { public static void main(String[] args) { String json
阅读全文
posted @ 2021-09-12 15:29
JDBC
摘要：JBDC六步骤： 1.注册驱动 (1)Class.forName(driver) (2)DriverManager.registerDriver(new com.mysql.jdbc.Driver()) (3)资源绑定器 ResourceBundle bundle=ResourceBundle.ge
阅读全文
posted @ 2021-09-05 20:52
shell脚本
摘要：因为linux无法同时进行多个指令，所有通过shell作为桥梁（后缀为sh的文件） 头部注释为#!/bin/sh或者#!/bin/bash(注释可写可不写,建议写上) 可以通过sh或者bash命名来执行 ./文件名.sh（必须在当前目录下且文件是可执行文件） 变量(动态数据类型,没有数据类型的限制,
阅读全文
posted @ 2021-09-02 21:23
