摘要：摘要：RPC（Remote Procedure Call Protocol）——远程过程调用协议，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在，如TCP或UDP，为通信程序之间携带信息数据。Hadoop的进程间交互都是通过RPC来进行的 阅读全文
Hadoop基础知识
2016-08-16 19:56 by 牛仔裤的夏天, 270 阅读, 0 推荐, 收藏, 编辑
摘要：摘要：Hadoop的安装目录了解、etc的核心配置项、hadoop的启动、HDFS文件的block块级副本的存放策略、checkpoint触发设置。 1.hadoop目录了解 bin：可执行文件，命令启动的脚本等 sbin：系统级可执行文件，服务的启动和停止相关 etc：配置文件 lib：nativ 阅读全文
分布式集群搭建(hadoop2.6.0+CentOS6.5)
2016-08-07 18:52 by 牛仔裤的夏天, 760 阅读, 0 推荐, 收藏, 编辑
摘要：摘要：之前安装过hadoop1.2.1集群，发现比较老了，后来安装cloudera(hadoop2.6.0),发现集成度比较高，想知道原生的hadoop什么样子，于是着手搭建一个分布式集群(三台)，方便与cloudera的安装进行对比，来更加深入学习Hadoop整个生态系统。一开始安装的CentOS 阅读全文
编写第一个MapReduce程序—— 统计气温
2016-07-11 15:01 by 牛仔裤的夏天, 521 阅读, 0 推荐, 收藏, 编辑
摘要：摘要：hadoop安装完成后，像学习其他语言一样，要开始写一个“hello world!” ,看了一些学习资料，模仿写了个程序。对于一个C#程序员来说，写个java程序，并调用hadoop的包，并跑在linux系统下，是一次新的尝试。 hadoop ncdc气象数据： http://down.51c 阅读全文
Oracle常用操作——创建表空间、临时表空间、创建表分区、创建索引、锁表处理
2016-07-10 16:19 by 牛仔裤的夏天, 995 阅读, 0 推荐, 收藏, 编辑
摘要：摘要：Oracle数据库的库表常用操作：创建与添加表空间、临时表空间、创建表分区、创建索引、锁表处理 1.表空间 ■ 详细查看表空间使用状况，包括总大小，使用空间，使用率，剩余空间 ■ 查看当前表空间数据文件序号 ■ 添加表/索引空间,数据文件大小固定为30720M ■ 删除表空间的某个数据文件 2 阅读全文
Linux环境安装Eclipse及配置hadoop插件
2016-07-10 16:07 by 牛仔裤的夏天, 2221 阅读, 0 推荐, 收藏, 编辑
摘要：摘要：第一次使用hadoop，另外eclipse也不太熟悉，所以把自己在安装过程中得琐碎记录下来。以备以后查看。 硬软件环境： ▪ 虚拟机: VMware Workstation 11.0.0 build-2305329 ▪ 虚拟机安装操作系统: CentOS 6.5 ▪ JDK: 1.6.0_45 阅读全文
Hadoop的核心组件和生态圈
2016-04-09 10:36 by 牛仔裤的夏天, 1577 阅读, 0 推荐, 收藏, 编辑
摘要：摘要：Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算. 1.hadoop核心组件—HDFS ■ HDFS的文件被分成块进行存储，块的默认大小 阅读全文
安装hadoop集群服务器(hadoop1.2.1)
2016-03-20 17:22 by 牛仔裤的夏天, 273 阅读, 0 推荐, 收藏, 编辑
摘要：摘要：hadoop,一个分布式系统基础架构,可以充分利用集群的威力进行高速运算和存储。本文主要介绍hadoop的安装与集群服务器的配置。 准备文件： ▪ VMware11.0.0 ▪ CentOS-6.5-x86_64-bin-DVD1.iso ▪ jdk-6u45-linux-x64-rpm.bi 阅读全文
python入门到精通[三]:基础学习(2)
2016-03-19 20:53 by 牛仔裤的夏天, 273 阅读, 0 推荐, 收藏, 编辑
摘要：列表、元组、字典、函数、序列化、正则表达式、模块 阅读全文
python入门到精通[二]:基础学习(1)
2016-03-18 10:47 by 牛仔裤的夏天, 298 阅读, 0 推荐, 收藏, 编辑
摘要：注释、字符串操作、用户交互、流程控制、导入模块、文件操作、目录操作 阅读全文