摘要:摘要:RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。Hadoop的进程间交互都是通过RPC来进行的 阅读全文
Hadoop基础知识
2016-08-16 19:56 by 牛仔裤的夏天, 270 阅读, 0 推荐, 收藏, 编辑
摘要:摘要:Hadoop的安装目录了解、etc的核心配置项、hadoop的启动、HDFS文件的block块级副本的存放策略、checkpoint触发设置。 1.hadoop目录了解 bin:可执行文件,命令启动的脚本等 sbin:系统级可执行文件,服务的启动和停止相关 etc:配置文件 lib:nativ 阅读全文
分布式集群搭建(hadoop2.6.0+CentOS6.5)
2016-08-07 18:52 by 牛仔裤的夏天, 760 阅读, 0 推荐, 收藏, 编辑
摘要:摘要:之前安装过hadoop1.2.1集群,发现比较老了,后来安装cloudera(hadoop2.6.0),发现集成度比较高,想知道原生的hadoop什么样子,于是着手搭建一个分布式集群(三台),方便与cloudera的安装进行对比,来更加深入学习Hadoop整个生态系统。一开始安装的CentOS 阅读全文
编写第一个MapReduce程序—— 统计气温
2016-07-11 15:01 by 牛仔裤的夏天, 521 阅读, 0 推荐, 收藏, 编辑
摘要:摘要:hadoop安装完成后,像学习其他语言一样,要开始写一个“hello world!” ,看了一些学习资料,模仿写了个程序。对于一个C#程序员来说,写个java程序,并调用hadoop的包,并跑在linux系统下,是一次新的尝试。 hadoop ncdc气象数据: http://down.51c 阅读全文
Oracle常用操作——创建表空间、临时表空间、创建表分区、创建索引、锁表处理
2016-07-10 16:19 by 牛仔裤的夏天, 995 阅读, 0 推荐, 收藏, 编辑
摘要:摘要:Oracle数据库的库表常用操作:创建与添加表空间、临时表空间、创建表分区、创建索引、锁表处理 1.表空间 ■ 详细查看表空间使用状况,包括总大小,使用空间,使用率,剩余空间 ■ 查看当前表空间数据文件序号 ■ 添加表/索引空间,数据文件大小固定为30720M ■ 删除表空间的某个数据文件 2 阅读全文
Linux环境安装Eclipse及配置hadoop插件
2016-07-10 16:07 by 牛仔裤的夏天, 2221 阅读, 0 推荐, 收藏, 编辑
摘要:摘要:第一次使用hadoop,另外eclipse也不太熟悉,所以把自己在安装过程中得琐碎记录下来。以备以后查看。 硬软件环境: ▪ 虚拟机: VMware Workstation 11.0.0 build-2305329 ▪ 虚拟机安装操作系统: CentOS 6.5 ▪ JDK: 1.6.0_45 阅读全文
Hadoop的核心组件和生态圈
2016-04-09 10:36 by 牛仔裤的夏天, 1577 阅读, 0 推荐, 收藏, 编辑
摘要:摘要:Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算. 1.hadoop核心组件—HDFS ■ HDFS的文件被分成块进行存储,块的默认大小 阅读全文
安装hadoop集群服务器(hadoop1.2.1)
2016-03-20 17:22 by 牛仔裤的夏天, 273 阅读, 0 推荐, 收藏, 编辑
摘要:摘要:hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储。本文主要介绍hadoop的安装与集群服务器的配置。 准备文件: ▪ VMware11.0.0 ▪ CentOS-6.5-x86_64-bin-DVD1.iso ▪ jdk-6u45-linux-x64-rpm.bi 阅读全文
python入门到精通[三]:基础学习(2)
2016-03-19 20:53 by 牛仔裤的夏天, 273 阅读, 0 推荐, 收藏, 编辑
摘要:列表、元组、字典、函数、序列化、正则表达式、模块 阅读全文
python入门到精通[二]:基础学习(1)
2016-03-18 10:47 by 牛仔裤的夏天, 298 阅读, 0 推荐, 收藏, 编辑
摘要:注释、字符串操作、用户交互、流程控制、导入模块、文件操作、目录操作 阅读全文