摘要：
今天进行了Sqoop的安装部署工作。 1、导入Sqoop的tar包到/export/server下,并进行解压。 cd export/servers 进入相应目录 tar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 解压Sqoop包 mv sqoo 阅读全文
摘要：
今天跟着视频学习了大数据里面的可视化数据分析。我感觉难点其实还是在sql的数据分析上，需要对数据进行清洗，分析，整理出新表，最后之间导入表格就可以做出可视化表格，重点还是SQL。对于一些SQL写法一定要熟悉，还要Hive仓库提供的内置函数。 下面时我做的报表。 阅读全文
摘要：
上周主要学习了hadoop相关的知识，因为是在虚拟机上安装的hadoop，所以还学习了linux的一些常用的命令，对于文件系统有了更深的理解。后面配置了hadoop环境以及hive仓库，并通过远程登录连接hive仓库。 下一周要继续学习hadoop相关知识。 阅读全文
摘要：
Hive 常用的内置函数 show functions;describe function extended count; String Functions 字符串函数 select length("itcast");select reverse("itcast");select concat("a 阅读全文
摘要：
start-all.sh 启动hadoop服务yarn nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore & 启动Hive第一代客户端 nohup /export/server/apache-hive-3. 阅读全文
摘要：
Hive使用Load进行加载数据操作分为两种情况。第一种是文件在虚拟机本地，另一种是文件在HDFS文件系统根目录。对应两种情况，底层也会进行复制、移动操作。 虚拟机本地加载 这里事先将txt文件放到了root的hivedata目录下。 -- 从本地加载数据 数据位于HS2（node1）本地文件系统 阅读全文
摘要：
这里我使用的是DataGrip可视化工具。 第一次跟视频操作主要熟悉并记录一下流程。 先在虚拟机node3上创建一个数据库wjb 0: jdbc:hive2://node1:10000> create database wjb; 在数据库里创建表格，使用DataGrip工具 --1、创建一张表，将射 阅读全文
摘要：
1、创建文件夹 hadoop fs -mkdir [-p] ... path 为待创建的目录 -p选项的行为与Unix mkdir -p非常相似，它会沿着路径创建父目录。 hadoop fs -mkdir -p /wjb/itcast 2、查看指定目录下内容 hadoop fs -ls [-h] [ 阅读全文