2017年8月10日
hadoop Hive 的建表 和导入导出及索引视图
摘要： 1.hive 的导入导出 1.1 hive的常见数据导入方法 1.1.1 从本地系统中导入数据到hive表 1.创建student表 [ROW FORMAT DELIMITED]关键字，是用来设置创建的表在加载数据的时候，支持的列分隔符。[STORED AS file_format]关键字是用来设置 阅读全文
posted @ 2017-08-10 21:18 菜鸟的进击 阅读(1077) 评论(0) 推荐(0) 编辑
2017年7月31日
hadoop Mapreduce组件介绍
摘要： MapReduce原理 MapRedcue采用‘分而治之’的思想，对大规模数据集的操作，分发给一个主节点下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。Mapreduce就是任务的分解，与结果的汇总 MapReduce任务机器有两个一个是jobTracker，另一个是TaskT 阅读全文
posted @ 2017-07-31 10:53 菜鸟的进击 阅读(1194) 评论(0) 推荐(0) 编辑
hadoop hive组件介绍及常用cli命令
摘要： Hive架构图 Hive产生原因 1 关系型数据库以产生多年sql成熟 2 简化开发降低成本 3 java成员可编写udf函数 Hive是什么 Hive是基于hadoop的一个数据库工具，使用Hql作为接口，maprduce作为执行层 Hdfs作为储存层。设计的目的是让sql开发人员java技能较弱 阅读全文
posted @ 2017-07-31 10:50 菜鸟的进击 阅读(1824) 评论(0) 推荐(0) 编辑
hadoop yarn组件介绍
摘要： Yarn的产生 mapReduc1.0 1单点故障 2扩展效率低 3资源利用率高 降低运维成本 方便数据共享 多计算框架支持 MapReduce Spark Storm Yarn的架构图 Yarn模块介绍 ResourceManger 负责集群资源的统一管理和调度 处理客户端请求 启动/监控Appl 阅读全文
posted @ 2017-07-31 10:48 菜鸟的进击 阅读(1426) 评论(0) 推荐(0) 编辑
hadoop 组件 hdfs架构及读写流程
摘要： 一 . Namenode Namenode 是整个系统的管理节点 就像一本书的目录，储存文件信息，地址，接受用户请求，等 二 . Datanode 提供真实的文件数据，存储服务 文件块（block）是基础的最基本的储存单元 2.1块储存原理 hdfs为什么分块而不是分文件 大小不一 io不均衡：负载 阅读全文
posted @ 2017-07-31 10:43 菜鸟的进击 阅读(360) 评论(0) 推荐(0) 编辑
2017年7月29日
vmware虚拟机centOs安装教程
摘要： 1安装vmware 虚拟机软件 1.解压vmware安装 汉化vmware虚拟机 复制注册码，并填写进vmware 2安装linux（centos）虚拟机 1. 点击文件 >新建虚拟机 >选择自定义 >继续 3.选择我以后安装操作系统 4选择对应的版本 5虚拟机的重命名及位置 6处理机的配置默认 7 阅读全文
posted @ 2017-07-29 15:55 菜鸟的进击 阅读(513) 评论(0) 推荐(0) 编辑
Apache hadoop安装配置
摘要： 1.网络中继更改问题 命令： vi /etc/sysconfig/network-scripts/ifcfg-eth0 需要修改的代码 DEVICE=eth0 HWADDR=00:0C:29:11:02:E8 TYPE=Ethernet UUID=c1038317-21f4-4251-a68f-09 阅读全文
posted @ 2017-07-29 15:47 菜鸟的进击 阅读(499) 评论(0) 推荐(0) 编辑
Ambari安装
摘要： adp环境配置文档 adp环境配置文档 1 一，环境的基础配置同Apache hadoop类似（可参考） 1 二，不同配置之处 1 2.1 同步时钟 1 三． Hdp服务器配置 2 3.1 资源库的配置 2 3.2安装mysql 2 3.3安装配置Ambari 3 3.4重启Ambari-serve 阅读全文
posted @ 2017-07-29 15:45 菜鸟的进击 阅读(381) 评论(0) 推荐(0) 编辑
2017年7月13日
虚拟机CentOs的安装及大数据的环境搭建
摘要： 大数据问题汇总 1.安装问题 1.安装步骤，详见文档《centos虚拟机安装指南》 2.vi编辑器使用问题，详见文档《linux常用命令.pdf》 3.网络中继更改问题 命令： vi /etc/sysconfig/network-scripts/ifcfg-eth0·········需要修改的代码· 阅读全文
posted @ 2017-07-13 08:33 菜鸟的进击 阅读(951) 评论(0) 推荐(0) 编辑
2017年6月18日
NodeJS 实现手机短信验证 模块阿里大于
摘要： 1,NodeJS 安装阿里大于模块 切换到项目目录使用npm 安装阿里于模块 npm i node-alidayu --save 2，aliyu官网使用淘宝账户登录 登录阿里大于 https://doc.alidayu.com/doc2/index.htm 1登录后点击管理中心 2点击应用管理 》创 阅读全文
posted @ 2017-06-18 20:58 菜鸟的进击 阅读(4603) 评论(0) 推荐(0) 编辑