裸睡的猪 - 博客园

2018年6月22日

摘要：使用 Apache Pig 处理数据使用 Apache Pig 从大数据集中获得所需的信息 Tim 是我们最受欢迎的撰稿人之一，并且是一位多产撰稿人。浏览 developerWorks 上的所有 Tim 的文章。查看 Tim 的个人档案并在 developerWorks 社区中与 Tim、其他阅读全文

posted @ 2018-06-22 20:26 裸睡的猪阅读(602) 评论(0) 推荐(0) 编辑

flume

摘要： Flume（一）Flume原理解析阅读目录(Content) 一、Flume简介二、Flume特点三、Flume的一些核心概念 3.1、Agent结构 3.2、source 3.3、Channel 3.4、Sink 四、Flume拦截器、数据流以及可靠性 4.1、Flume拦截器 4.2、Fl 阅读全文

posted @ 2018-06-22 10:36 裸睡的猪阅读(192) 评论(0) 推荐(0) 编辑

2018年6月19日

hadoop集群故障排除

摘要：故障一：某个datanode节点无法启动我是以用户名centos安装和搭建了一个测试用的hadoop集群环境，也配置好了有关的权限，所有者、所属组都配成centos:centos 【故障现象】名称节点的3个进程都起来了，但是其中一个数据节点的DataNode进程没启动，就是说在该数据节点上通过j 阅读全文

posted @ 2018-06-19 11:19 裸睡的猪阅读(1363) 评论(0) 推荐(0) 编辑

hadoop故障及其应对

摘要：为更好了解各种故障，可以修改数据块的大小和提升NameNode的日志级别 [html] view plain copy <property> <name>dfs.block.size</name> <value>4194304</value> </property> <property> <name 阅读全文

posted @ 2018-06-19 11:17 裸睡的猪阅读(1112) 评论(0) 推荐(0) 编辑

影响MapReduce性能的几个因素

摘要： Hadoop MapReduce性能优化影响MapReduce输入数据处理时间的因素很多。其中之一是实现map和reduce函数时使用的算法。其他外部因素也可能影响MapReduce性能。根据我们的经验和观察，可能影响MapReduce的主要因素有以下几个。硬件（或者资源）因素，如CPU时钟、磁盘阅读全文

posted @ 2018-06-19 11:16 裸睡的猪阅读(1517) 评论(0) 推荐(0) 编辑

Hadoop小文件存储方案

摘要： Hadoop小文件存储方案 HDFS总体架构在介绍文件存储方案之前，我觉得有必要先介绍下关于HDFS存储架构方面的一些知识，在对架构有初步了解后，才会明白为什么要单独针对小文件展开介绍，小文件存储和其它文件存储区别在什么地方。这里我只是就Hadoop生态中的存储层展开介绍，对于其它部分本文暂未描阅读全文

posted @ 2018-06-19 11:09 裸睡的猪阅读(410) 评论(0) 推荐(0) 编辑

如何利用Hadoop存储小文件

摘要： ************************************************************************************************************ 1. HDFS上的小文件问题小文件是指文件大小明显小于HDFS上块（block）阅读全文

posted @ 2018-06-19 11:07 裸睡的猪阅读(383) 评论(0) 推荐(0) 编辑

map/reduce

摘要： map/reduce 阅读: 434809 Python内建了map()和reduce()函数。如果你读过Google的那篇大名鼎鼎的论文“MapReduce: Simplified Data Processing on Large Clusters”，你就能大概明白map/reduce的概念。阅读全文

posted @ 2018-06-19 10:47 裸睡的猪阅读(280) 评论(0) 推荐(0) 编辑

mv命令

摘要： Linux mv命令 Linux mv命令用来为文件或目录改名、或将文件或目录移入其它位置。语法 mv [options] source dest mv [options] source... directory 参数说明： -i: 若指定目录已有同名文件，则先询问是否覆盖旧文件; -f: 在mv 阅读全文

posted @ 2018-06-19 10:23 裸睡的猪阅读(2139) 评论(0) 推荐(1) 编辑

chown命令

摘要： Linux chown命令 Linux/Unix 是多人多工操作系统，所有的文件皆有拥有者。利用 chown 将指定文件的拥有者改为指定的用户或组，用户可以是用户名或者用户ID；组可以是组名或者组ID；文件是以空格分开的要改变权限的文件列表，支持通配符。。一般来说，这个指令只有是由系统管理者(r 阅读全文

posted @ 2018-06-19 10:08 裸睡的猪阅读(11687) 评论(0) 推荐(0) 编辑