虎啸千峰

摘要： 一、shell命令 1、后缀.sh 第一行需要加#！/bin/bash 没有的话，需呀sh 命令执行 示例test.sh： #!/bin/bash date ./test.sh 提示没有权限，此时，需要chmod 744 test.sh 二、调度工具 1、airflow 2、azkaban 3、ru 阅读全文

摘要： 一、打印命令 1、echo打印命令 a、打印环境变量 echo $Path b、打印Path命令目录 which，比如：which ls表示打印的是Path目录中第一定义的全局变量的目录中命令。 二、环境变量 环境变量的路径： 1、全局变量的地址，所有人使用：/etc/profile 2、仅限个人使 阅读全文

摘要： 一、登陆用户和机器名称 示例：[root@hadoop01 ~]# root:表示用户名 @hadoop01表示机器名称 ~表示当前文件目录是家目录 #表示输入命令提示符，用户可以在其后输入命令；非root用户使用$提醒 二、常用的文件查看命令 1、查看当期目录命令 pwd 2、切换目录的命令 cd 阅读全文

摘要： 一、Hive的概述 1、Hive的定义 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL进行数据读取、写入和管理。 2、Hive的架构图 hive的各个组成部分介绍： 用户接口：包括 CLI、JDBC/ODBC、WebGUI。 元数据存储：通常是 阅读全文

摘要： 一、概述 在将dmp文件导入到Oracle中之前，需要先创建一个orcale用户。然后使用该用户名和密码，以imp的方式将数据导入到oracle中。 二、执行步骤 1、登陆oracle数据库 a、sqlplus / as sysdba b、如果使用a不成功，则使用 sqlplus demo/demo 阅读全文

摘要： 一、Maven能做什么 1、假设我们有10个项目，都需要引入spring core模块，那么需要十份重复的Spring Core.jar和commons-logging.jar 使用Maven：maven使用本地仓库存储的jar,所有项目都会公用仓库中的同一分jar 2、Spring Core.ja 阅读全文

摘要： 一、git的本地操作 1、git的基本原理 解析：workspace是工作区，index是暂存区，local repository是本地仓库，remote repository是远程区。 a、增加代码之后，会将新增的代码保存在index区域，然后commit之后上传到本地仓库local reposi 阅读全文

摘要： 一、切片与MapTask的关系 1、概述 大家要注意区分切片与切块的区别： 切块Block是HDFS物理上把数据分成一块一块的，默认是128M； 数据切片：只是在逻辑上对输入进行分片，并不会在磁盘上分成片进行存储；而是分成片对数据进行处理。 物理上HDFS会把数据进行切块存储，但是当进行数据处理时， 阅读全文

摘要： 一、概述 每个job提交到yarn上执行时，都会分配Container容器去运行，而这个容器需要资源才能运行，这个资源就是Cpu和内存。 1、CPU资源调度 目前的CPU被Yarn划分为虚拟CPU，这是yarn自己引入的概念，表示的是每台中可以分配给yarn的Cpu核数，因为每个服务器的Cpu计算能 阅读全文

摘要： 一、Hadoop数据压缩及其优缺点 1、压缩技术的好处与坏处 好处： 减少存储磁盘空间 降低IO（网络的IO和磁盘的IO） 加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度。 坏处： 由于使用数据时，需要先将数据解压，加重了CPU的负荷。 使用压缩的基本原则： 运算密集型的job，少用压缩 阅读全文