摘要: 1.hive 的导入导出 1.1 hive的常见数据导入方法 1.1.1 从本地系统中导入数据到hive表 1.创建student表 [ROW FORMAT DELIMITED]关键字,是用来设置创建的表在加载数据的时候,支持的列分隔符。[STORED AS file_format]关键字是用来设置 阅读全文
posted @ 2017-08-10 21:18 菜鸟的进击 阅读(1100) 评论(0) 推荐(0) 编辑
摘要: MapReduce原理 MapRedcue采用‘分而治之’的思想,对大规模数据集的操作,分发给一个主节点下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。Mapreduce就是任务的分解,与结果的汇总 MapReduce任务机器有两个一个是jobTracker,另一个是TaskT 阅读全文
posted @ 2017-07-31 10:53 菜鸟的进击 阅读(1200) 评论(0) 推荐(0) 编辑
摘要: Hive架构图 Hive产生原因 1 关系型数据库以产生多年sql成熟 2 简化开发降低成本 3 java成员可编写udf函数 Hive是什么 Hive是基于hadoop的一个数据库工具,使用Hql作为接口,maprduce作为执行层 Hdfs作为储存层。设计的目的是让sql开发人员java技能较弱 阅读全文
posted @ 2017-07-31 10:50 菜鸟的进击 阅读(1826) 评论(0) 推荐(0) 编辑
摘要: Yarn的产生 mapReduc1.0 1单点故障 2扩展效率低 3资源利用率高 降低运维成本 方便数据共享 多计算框架支持 MapReduce Spark Storm Yarn的架构图 Yarn模块介绍 ResourceManger 负责集群资源的统一管理和调度 处理客户端请求 启动/监控Appl 阅读全文
posted @ 2017-07-31 10:48 菜鸟的进击 阅读(1430) 评论(0) 推荐(0) 编辑
摘要: 一 . Namenode Namenode 是整个系统的管理节点 就像一本书的目录,储存文件信息,地址,接受用户请求,等 二 . Datanode 提供真实的文件数据,存储服务 文件块(block)是基础的最基本的储存单元 2.1块储存原理 hdfs为什么分块而不是分文件 大小不一 io不均衡:负载 阅读全文
posted @ 2017-07-31 10:43 菜鸟的进击 阅读(367) 评论(0) 推荐(0) 编辑
摘要: 1安装vmware 虚拟机软件 1.解压vmware安装 汉化vmware虚拟机 复制注册码,并填写进vmware 2安装linux(centos)虚拟机 1. 点击文件 >新建虚拟机 >选择自定义 >继续 3.选择我以后安装操作系统 4选择对应的版本 5虚拟机的重命名及位置 6处理机的配置默认 7 阅读全文
posted @ 2017-07-29 15:55 菜鸟的进击 阅读(516) 评论(0) 推荐(0) 编辑
摘要: 1.网络中继更改问题 命令: vi /etc/sysconfig/network-scripts/ifcfg-eth0 需要修改的代码 DEVICE=eth0 HWADDR=00:0C:29:11:02:E8 TYPE=Ethernet UUID=c1038317-21f4-4251-a68f-09 阅读全文
posted @ 2017-07-29 15:47 菜鸟的进击 阅读(503) 评论(0) 推荐(0) 编辑
摘要: adp环境配置文档 adp环境配置文档 1 一,环境的基础配置同Apache hadoop类似(可参考) 1 二,不同配置之处 1 2.1 同步时钟 1 三. Hdp服务器配置 2 3.1 资源库的配置 2 3.2安装mysql 2 3.3安装配置Ambari 3 3.4重启Ambari-serve 阅读全文
posted @ 2017-07-29 15:45 菜鸟的进击 阅读(384) 评论(0) 推荐(0) 编辑
摘要: 大数据问题汇总 1.安装问题 1.安装步骤,详见文档《centos虚拟机安装指南》 2.vi编辑器使用问题,详见文档《linux常用命令.pdf》 3.网络中继更改问题 命令: vi /etc/sysconfig/network-scripts/ifcfg-eth0·········需要修改的代码· 阅读全文
posted @ 2017-07-13 08:33 菜鸟的进击 阅读(954) 评论(0) 推荐(0) 编辑
摘要: 1,NodeJS 安装阿里大于模块 切换到项目目录使用npm 安装阿里于模块 npm i node-alidayu --save 2,aliyu官网使用淘宝账户登录 登录阿里大于 https://doc.alidayu.com/doc2/index.htm 1登录后点击管理中心 2点击应用管理 》创 阅读全文
posted @ 2017-06-18 20:58 菜鸟的进击 阅读(4628) 评论(0) 推荐(0) 编辑