Hadoop命令
HDFS命令
- HDFS命令大全
Usage: hdfs [--config confdir] COMMAND where COMMAND is one of:
| 命令 | 说明 |
|---|---|
| dfs | 执行hadoop支持的文件系统命令run a filesystem command on the file systems supported in Hadoop. |
| namenode -format | 格式化文件系统format the DFS filesystem |
| secondarynamenode | 启用secondary namenode服务 run the DFS secondary namenode |
| namenode | 启用namenode服务 run the DFS namenode |
| journalnode | 启用journalnode服务 run the DFS journalnode |
| zkfc | 启用 ZK 备援控制驻守服务 run the ZK Failover Controller daemon |
| datanode | 启用 datanode服务 run a DFS datanode |
| dfsadmin | 启用 DFS admin客户端 run a DFS admin client |
| haadmin | 启用 DFS HA admin 客户端 run a DFS HA admin client |
| fsck | 启用 DFS 文件系统检查组件 run a DFS filesystem checking utility |
| balancer | 启用 集群负载均衡工具 run a cluster balancing utility |
| jmxget | get JMX exported values from NameNode or DataNode. |
| oiv | 应用脱机fsimage查看器 apply the offline fsimage viewer to an fsimage |
| oev | 应用脱机编辑查看器 apply the offline edits viewer to an edits file |
| fetchdt | 从NameNode分发一个代理token fetch a delegation token from the NameNode |
| getconf | 获取配置信息 get config values from configuration |
| groups | 获取用户所属的组 get the groups which users belong to |
| snapshotDiff | 比较一个目录的两个快照的不同 diff two snapshots of a directory or diff the current directory contents with a snapshot |
| lsSnapshottableDir | 列举属于本用户的所有表快照目录 list all snapshottable dirs owned by the current user |
| portmap | 启用portmap服务 run a portmap service |
| nfs3 | run an NFS version 3 gateway |
- 常用命令
对于HDFS dfs命令，针对在shell命令在大部分可以使用，只要在相应的命令前加 -。使用时，在Hive Cli可以省略hadoop命令。
展示hdfs文件中的根目录： hdfs dfs -ls / 展示home目录下的信息: hdfs dfs -ls
创建home目录下创建目录product,当没有加目录时，就是在对应用户的home目录 hdfs dfs -mkdir product
拷贝文件到HDFS,将product.csv文件拷贝到刚才创建的product文件夹下。 hdfs dfs -put product.csv product
将文件从HDFS上拷贝到本地系统 hdfs dfs -get product/prodcut.csv product_copy.csv 在HDFS文件系统内进行文件拷贝 hdfs dfs -cp product/product.csv product_copy.csv
删除文件 hdfs dfs -rm product_copy.csv 删除一个目录 hdfs dfs -rm -r product
获取HDFS转态报告(限管理员) hdfs dfsadmin -report
对HDFS文件系统的健康型检查 hdfs fsck /
Hive命令
JDBC连接元数据
Hive元数据存储了如表的模式和分区等信息，用户执行如CREATE TABLE或ALTER TABLE等命令会制定这些信息，对于这些会存在并发同时访问，所以
默认的内置数据库不适合于生产环境,目前绝大多数情况系啊，使用Mysql进行存储元数据信息，Mysql驱动的存放位置为：
hive-site.xml 配置文件中
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://sandbox-hdp.hortonworks.com/hive?createDatabaseIfNotExist=true</value>
</property>
命令行选项
执行 hive -h 或 hive --help 可以查看命令选项
| 命令 | 说明 |
|---|---|
| -d,--define <key=value> | 定义变量 Variable substitution to apply to Hive commands. e.g. -d A=B or --define A=B |
| -e <quoted-query-string> | 从命令行执行sql SQL from command line |
| -f <filename> | 从sql文件中调用 SQL from files |
| -H,--help | 打印帮助信息 Print help information |
| -h <hostname> | 连接到远程Hive服务 Connecting to Hive Server on remote host |
| --hiveconf <property=value> | 对给定的属性应用给定的值 Use value for given property |
| --hivevar <key=value> | 在Hive命令中进行参数替换Variable substitution to apply to hive commands. e.g. --hivevar A=B |
| -i <filename> | 初始化SQL文件 Initialization SQL file |
| -p <port> | 连接Hive Server 的端口号 Connecting to Hive Server on port number |
| -S,--silent | 在集成Shell中开启静默模式 Silent mode in interactive shell |
| -v,--verbose | 详细信息输出到控制台 Verbose mode (echo executed SQL to the console) |
变量和属性
--define key = value 等价于 --hivevar key=value,可在命令行定义用户自定义变量以便在Hive脚本中引用，来满足不同的执行。
Hive将这些键值对放到Hivevar命名空间，这样可以和其他的3中内置命名空间hiveconf,system,env 进行区分。
相关命名空间:
| 命名空间 | 使用权限 | 描述 |
|---|---|---|
| hivevar | 可读/可写 | 用户自定义变量 |
| hiveconf | 可读/可写 | Hive相关的配置属性 |
| system | 可读/可写 | 系统环境变量，Java可定义的配置属性 |
| env | 只可读 | Shell环境定义的环境变量 |
使用 set 命令对各不同命名空间中的变量进行设置,shell环境变量，对应的可以使用 echo $param 来进行输出现实。通用的 配置信息可以在 /etc/profile，/etc/bashrc , ~/bash_profile 文件中定义。 set env:home | echo $HOME set env:HADOOP_HOME | echo $HADOOP_HOME set env:JAVA_HOME | echo $JAVA_HOME
使用 -d 或 --hivevar进行定义变量。 hive -d max_year=2018 hive --hivevar configinfo=something --hivevar hosturl=hostname
--hiveconf 配置信息,hive的配置参数，覆盖hive-site.xml中的参数值 hive --hiveconf hive.cli.print.current.db=true --hiveconf hive.cli.print.header=true; hive --hiveconf hive.root.logger=INFO,console
hiverc | hive -i 文件配置,在Hive cli中使用-i参数进行制定一个配置文件,在cli启动时，在提示符出现前会执行这个文件。Hive会自动在HOME目录下寻找名为.hiverc的文件，而且会自动
执行这个文件中的命令。对于用户需要频繁执行的命令，使用这个文件是很方便的。例如设置系统属性，或增加对于Hadoop的分布内存进行自定义的Hive扩展Java包。
Hive常用设置
| 配置项 | 说明 |
|---|---|
| hive.root.logger=DEBUG,console | 在会话里输出日志信息 |
| hive.cli.print.current.db=true | 显示当前数据库 |
| hive.cli.print.header=true | 显示列名 |
| hive.enforce.bucketing=true | 启用bucket |
| hive.exec.dynamic.partition=true | 开启动态分区 |
| hive.exec.dynamic.partition.mode=nostrict | 动态分区模式：strict至少要有个静态分区，nostrict不限制 |
| hive.exec.max.dynamic.partitions.pernode=100 | 每个mapper节点最多创建100个分区 |
| hive.exec.max.dynamic.partitions | 总共可以创建的分区数 |
| hive.mapred.mode=strict | 不执行有风险（巨大的mapreduce任务）的操作 |
| hive.exec.compress.intermediate=true | 压缩mapreduce中间数据 |
| hive.exec.compress.output=true | 压缩mapreduce输出结果 |
| hive.archive.enabled=true | 启用对分区归档 |
使用举例
hive -e 一次性执行Hive Sql语句。
结合使用 hivevar
hive --hivevar param=data -e "SELECT * FROM TABLE WHERE cloum > ${hivevar:param} "
hive -f 指定Hive Sql脚本文件
hive --hivevar param=data -f "hive sql file path"
查看Hive操作历史命令: Hive 会将近10000行命令记录到文件 $HOME/.hivehistory 在Hive中执行Shell命令，在命令前加 ! 即可 > !ls;
