摘要：
1. Hive是什么 1.1 hive的概念 Hive：由Facebook开源，用于解决海量（结构化日志）的数据统计。 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。 本质是：将Hive SQL转化成MapReduce程序 1.2 Hive 阅读全文
摘要：
1. hbase是什么 1.1 hbase的概念 hbase基于Google的BigTable论文，是建立的hdfs之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的分布式数据库系统。在需要实时读写随机访问超大规模数据集时，可以使用hbase。 hbase基于Google的BigTable论文， 阅读全文
摘要：
报错：启动hadoop报does not contain a valid host:port authority:node2_1:9000 原因：主机的hostname不合法，修改为不包含着‘.’ '/' '_'等非法字符。 阅读全文
摘要：
创建文件夹/文件命令以及清除模式 mkdir +文件夹名字 touch +文件名字 rm -fr 删除文件，文件夹 -f强制删除 -r是递归 查询linux下所有启动的线程： ps -ef|grep java Hadoop下日志文件logs内容，（位于/opt/bigdata/hadoop-3.2. 阅读全文
摘要：
which命令 1) 作用：搜索某个系统命令的位置。 2) 案例：查询vi命令路径：which vi cp命令 1)作用：用于复制文件或目录； 2）-a：此选项通常使用在复制目录时使用，它保留链接/文件属性，并且复制目录下的所有内容。其作用等于dpR参数组合。 3）-d：复制时保留链接。这里所说的链 阅读全文
摘要：
touch命令 1) 作用：用于修改文件或目录的时间属性，包括存取时间和更改时间。若文件不存在，系统会建立一个新的文件。 2) -a：改变档案的读取时间记录； 3) -m：改变档案的修改时间记录； 4）-c：假如目的档案不存在，不会建立新的档案。与--no-create的效果一样； 5）-f：不使用 阅读全文
摘要：
Mv命令 1）作用：用来为文件或目录改名/或将文件或目录一如其他位置 2）-i：若指定目录已有同名文件，则先询问是否覆盖旧文件； 3）-f：在mv操作要覆盖某已有的目标文件时，不给任何指示； 4）案例：将文件aaa更名为bbb mv aaa bbb 将/usr/student下的所有文件和目录移动到 阅读全文
摘要：
rm命令 1) 作用：用于删除一个文件或者目录； 2) -i：删除前逐一询问确认； 3) -f：即使原档案属性设为只读，亦直接删除，无需逐一确认； 4）-r：将目录及以下之档案亦逐一删除； 5）案例：删除test.txt文件：rm test.txt；rm -rf bbb递归删除文件夹bbb下所有文件 阅读全文
摘要：
More命令 1）作用：命令类似cat，不过会以一页一页的形式显示，更方便使用者逐页阅读。 2）-num：一次显示的行数 3）-d：提示使用者，在画面下方显示【Press space to continue，’q’to quit】,如果使用者按错键，则会显示【Press ‘h’for instruc 阅读全文
摘要：
Less命令 1）作用：less与more类似，但使用less可以随意浏览文件，而more仅能向前移动，却不能向后移动，而且less在查看之前不会加载整个文件。 2）ctrl+F 向前移动一屏； 3）ctrl+B 向后移动一屏； 4）ctrl+D 向前移动半屏； 5）ctrl+U 向后移动半屏 阅读全文