会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
菜鸟的进击
博客园
首页
新随笔
联系
订阅
管理
上一页
1
2
3
4
5
6
7
8
下一页
2017年8月10日
hadoop Hive 的建表 和导入导出及索引视图
摘要: 1.hive 的导入导出 1.1 hive的常见数据导入方法 1.1.1 从本地系统中导入数据到hive表 1.创建student表 [ROW FORMAT DELIMITED]关键字,是用来设置创建的表在加载数据的时候,支持的列分隔符。[STORED AS file_format]关键字是用来设置
阅读全文
posted @ 2017-08-10 21:18 菜鸟的进击
阅读(1077)
评论(0)
推荐(0)
编辑
2017年7月31日
hadoop Mapreduce组件介绍
摘要: MapReduce原理 MapRedcue采用‘分而治之’的思想,对大规模数据集的操作,分发给一个主节点下的各个分节点共同完成,然后通过整合各个节点的中间结果,得到最终结果。Mapreduce就是任务的分解,与结果的汇总 MapReduce任务机器有两个一个是jobTracker,另一个是TaskT
阅读全文
posted @ 2017-07-31 10:53 菜鸟的进击
阅读(1194)
评论(0)
推荐(0)
编辑
hadoop hive组件介绍及常用cli命令
摘要: Hive架构图 Hive产生原因 1 关系型数据库以产生多年sql成熟 2 简化开发降低成本 3 java成员可编写udf函数 Hive是什么 Hive是基于hadoop的一个数据库工具,使用Hql作为接口,maprduce作为执行层 Hdfs作为储存层。设计的目的是让sql开发人员java技能较弱
阅读全文
posted @ 2017-07-31 10:50 菜鸟的进击
阅读(1824)
评论(0)
推荐(0)
编辑
hadoop yarn组件介绍
摘要: Yarn的产生 mapReduc1.0 1单点故障 2扩展效率低 3资源利用率高 降低运维成本 方便数据共享 多计算框架支持 MapReduce Spark Storm Yarn的架构图 Yarn模块介绍 ResourceManger 负责集群资源的统一管理和调度 处理客户端请求 启动/监控Appl
阅读全文
posted @ 2017-07-31 10:48 菜鸟的进击
阅读(1426)
评论(0)
推荐(0)
编辑
hadoop 组件 hdfs架构及读写流程
摘要: 一 . Namenode Namenode 是整个系统的管理节点 就像一本书的目录,储存文件信息,地址,接受用户请求,等 二 . Datanode 提供真实的文件数据,存储服务 文件块(block)是基础的最基本的储存单元 2.1块储存原理 hdfs为什么分块而不是分文件 大小不一 io不均衡:负载
阅读全文
posted @ 2017-07-31 10:43 菜鸟的进击
阅读(360)
评论(0)
推荐(0)
编辑
2017年7月29日
vmware虚拟机centOs安装教程
摘要: 1安装vmware 虚拟机软件 1.解压vmware安装 汉化vmware虚拟机 复制注册码,并填写进vmware 2安装linux(centos)虚拟机 1. 点击文件 >新建虚拟机 >选择自定义 >继续 3.选择我以后安装操作系统 4选择对应的版本 5虚拟机的重命名及位置 6处理机的配置默认 7
阅读全文
posted @ 2017-07-29 15:55 菜鸟的进击
阅读(513)
评论(0)
推荐(0)
编辑
Apache hadoop安装配置
摘要: 1.网络中继更改问题 命令: vi /etc/sysconfig/network-scripts/ifcfg-eth0 需要修改的代码 DEVICE=eth0 HWADDR=00:0C:29:11:02:E8 TYPE=Ethernet UUID=c1038317-21f4-4251-a68f-09
阅读全文
posted @ 2017-07-29 15:47 菜鸟的进击
阅读(499)
评论(0)
推荐(0)
编辑
Ambari安装
摘要: adp环境配置文档 adp环境配置文档 1 一,环境的基础配置同Apache hadoop类似(可参考) 1 二,不同配置之处 1 2.1 同步时钟 1 三. Hdp服务器配置 2 3.1 资源库的配置 2 3.2安装mysql 2 3.3安装配置Ambari 3 3.4重启Ambari-serve
阅读全文
posted @ 2017-07-29 15:45 菜鸟的进击
阅读(381)
评论(0)
推荐(0)
编辑
2017年7月13日
虚拟机CentOs的安装及大数据的环境搭建
摘要: 大数据问题汇总 1.安装问题 1.安装步骤,详见文档《centos虚拟机安装指南》 2.vi编辑器使用问题,详见文档《linux常用命令.pdf》 3.网络中继更改问题 命令: vi /etc/sysconfig/network-scripts/ifcfg-eth0·········需要修改的代码·
阅读全文
posted @ 2017-07-13 08:33 菜鸟的进击
阅读(951)
评论(0)
推荐(0)
编辑
2017年6月18日
NodeJS 实现手机短信验证 模块阿里大于
摘要: 1,NodeJS 安装阿里大于模块 切换到项目目录使用npm 安装阿里于模块 npm i node-alidayu --save 2,aliyu官网使用淘宝账户登录 登录阿里大于 https://doc.alidayu.com/doc2/index.htm 1登录后点击管理中心 2点击应用管理 》创
阅读全文
posted @ 2017-06-18 20:58 菜鸟的进击
阅读(4603)
评论(0)
推荐(0)
编辑
上一页
1
2
3
4
5
6
7
8
下一页
公告