摘要:
1,查看虚拟机的网段 在编辑->虚拟网络编辑器->NAT设置->网关 IP 可以查看到虚拟机的网关 如图 2,图形化设置: 图中 Netmask设置的是255.255.255.0 gateway和上面虚拟机中的网关IP一样 Address和可以在网段范围内任意设置 设置完成后ifconfig后发现I 阅读全文
摘要:
1,one source two channel 创建conf文件,内容如下: 2,启动HDFS 3,启动flume 4, 报错1: 问题原因:缺少依赖包,这个依赖包是以下jar文件 解决办法: 报错2: 问题原因:缺少依赖包 解决办法: 报错3: 问题原因:缺少依赖包 解决办法: 报错4: 问题原 阅读全文
摘要:
1,上传jar包 2,解压 3,改名 4,更改配置文件 将template文件重镜像 在flume-env.sh文件中更改JAVA_HOME地址: 检查Flume是否安装成功 成功 4, 使用 flume的特点: flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统 阅读全文
摘要:
kafka介绍: Kafka[1是一种高吞吐量[2] 的分布式发布订阅消息系统,有如下特性: 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 高吞吐量[2] :即使是非常普通的硬件Kafka也可以支持每秒数百万[2] 的消息。 支持通过Ka 阅读全文
摘要:
Shuffle描述着数据从map task输出到reduce task输入的这段过程。 如map 端的细节图,Shuffle在reduce端的过程也能用图上标明的三点来概括。当前reduce copy数据的前提是它要从JobTracker获得有哪些map task已执行结束,这段过程不表,有兴趣的朋 阅读全文
摘要:
1,深复制与浅复制 浅复制:被复制对象的所有变量都含有与原来的对象相同的值,而所有的对其他对象的引用仍然指向原来的对象。换言之,浅复制仅仅复制所考虑的对象,而不复制它所引用的对象。 深复制:被复制对象的所有变量都含有与原来的对象相同的值,除去那些引用其他对象的变量。那些引用其他对象的变量将指向被复制 阅读全文
摘要:
1,计数器: 显示的计数器中分为四个组,分别为:File Output Format Counters、FileSystemCounters、File Input Format Counters和Map-Reduce Framkework。 分组File Input Format Counters包 阅读全文
摘要:
1,Mapper方法:如果在map方法之前执行一些程序用setup,之后用cleanup.同理在Reducer方法中也有setup和cleanup。 2,map任务是并行执行,没有谁先谁后,如果是两个job,则只能覆盖setup方法。 3,有几个block就有几个map任务。 4,当block的大小 阅读全文
摘要:
1,代码 2,ArrayWritable的API org.apache.hadoop.ioClass ArrayWritable java.lang.Object org.apache.hadoop.io.ArrayWritable 已实现的接口:Writable public class Arra 阅读全文
摘要:
1,实例方法和类方法的区别 所有在定义类方法和实例方法是有以下规则需要遵循: -- 在类方法中不能引用实例变量 实例变量的定义类似实例方法,没有用static修饰的变量,实例变量的创建与实例方法的创建相同,也是在类的对象创建时完成,所以在类方法中是不能引用实例变量的,因为这个时候实例变量还没有分配内 阅读全文