大数据和AI玩出的梗

2018年6月22日

摘要：这里我通过命令提示符来创建表登陆数据库进入spark_project数据库进行创建表,这里的脚本是我在文档里面写好的。阅读全文

posted @ 2018-06-22 17:26 大数据和AI玩出的梗阅读(109) 评论(0) 推荐(0) 编辑

摘要：安装使用首先看到下面的界面阅读全文

posted @ 2018-06-22 16:45 大数据和AI玩出的梗阅读(122) 评论(0) 推荐(0) 编辑

摘要： mysql server 5.5的下载下载地址： https://dev.mysql.com/downloads/mysql/5.0.html#linux mysql server 5.5的安装双击默认 next 这里需要一段时间阅读全文

posted @ 2018-06-22 16:34 大数据和AI玩出的梗阅读(164) 评论(0) 推荐(0) 编辑

2018年6月20日

Sqoop学习笔记

摘要： 1、Sqoop是什么 Sqoop:SQL-to-Hadoop 传统数据库与Hadoop间数据同步工具利用Mapreduce分布式批处理，加快了数据传输速度，保证了容错性 2、Sqoop1架构 sqoop import原理：从传统数据库获取元数据信息(schema、table、field、field 阅读全文

posted @ 2018-06-20 18:21 大数据和AI玩出的梗阅读(891) 评论(0) 推荐(0) 编辑

Sqoop安装部署

摘要：下载安装包：http://archive.apache.org/dist/sqoop/1.4.6/ 查看本机java版本上传查看解压查看命名删除由于下载的是apache下面的需要源码编译找到hadoop版本找到200 配置环境变量进入配置文件操作hadoop 配置环境变量配阅读全文

posted @ 2018-06-20 18:20 大数据和AI玩出的梗阅读(130) 评论(0) 推荐(0) 编辑

Hive学习笔记

摘要： Hive工作原理流程大致步骤为： 1. 用户提交查询等任务给Driver。 2. 编译器获得该用户的任务Plan。 3. 编译器Compiler根据用户任务去MetaStore中获取需要的Hive的元数据信息。 4. 编译器Compiler得到元数据信息，对任务进行编译，先将HiveQL转换为抽象阅读全文

posted @ 2018-06-20 18:08 大数据和AI玩出的梗阅读(184) 评论(0) 推荐(0) 编辑

HBase构架原理

摘要： HBase的概念： HBase在生态圈位置 HBase与HDFS对比 HBase与关系型数据库的比较 HBase表的特点： 4）任意模式：每一行都有一个可排序的主键和任意多的列，列可以根据自己的需要动态的添加，同一张表中的不同的行他们的列可以不相同。 5）多个数据版本：每个单元中的数据可以有多个版本阅读全文

posted @ 2018-06-20 11:39 大数据和AI玩出的梗阅读(154) 评论(0) 推荐(0) 编辑

HBase HA分布式集群搭建

摘要： HBase HA分布式集群搭建部署———集群架构搭建之前建议先学习好HBase基本构架原理：https://www.cnblogs.com/lyywj170403/p/9203012.html 集群部署： master：master slave1 regionservers ：slave1 sla 阅读全文

posted @ 2018-06-20 10:21 大数据和AI玩出的梗阅读(167) 评论(0) 推荐(0) 编辑

2018年6月14日

IntelliJ IDEA(Community版本)本地模式的下载、安装及其使用

摘要：对于初学者来说可以先使用免费的社区版本练练手。 ideaIC-2017.3.5——>社区版 ideaIU-2017.3.5——>旗舰版一、IntelliJ IDEA(Community版本)下载下载链接：https://www.jetbrains.com/idea/download/ 初学者可以阅读全文

posted @ 2018-06-14 15:41 大数据和AI玩出的梗阅读(9030) 评论(0) 推荐(0) 编辑

Scala本地安装

摘要：一、下载 https://www.scala-lang.org/download/ 这里我选择Scala2.10.4版本二、安装安装比较简单和jdk类似点击一路安装：选择自己的路径完成三、环境变量配置（和jdk类似）找到path，在最后添加;%SCALA_HOME%\bin;%SCA 阅读全文

posted @ 2018-06-14 12:00 大数据和AI玩出的梗阅读(352) 评论(0) 推荐(0) 编辑

公告