上海小墨子

2019年10月26日

摘要： schedule方法的总源码：启动driver方法的源码：启动workers源码：扩展：中华石杉-spark从入门到精通，第48讲要理解以上源码，需要知道其中的关系： spark一个集群会有多个master节点和多个worker节点，master节点负责管理worker节点，worker节点阅读全文

posted @ 2019-10-26 15:33 上海小墨子阅读(405) 评论(0) 推荐(0) 编辑

spark-Master注册机制和状态改变处理机制

摘要：查看源码需要先进行编译，注意修改版本： ./make-distribution.sh --tgz -Phadoop-2.6 -Pyarn -DskipTests -Dhadoop.version=2.6.0 -Phive 一：worker注册机制（worker启动之后） 1- worker在启动之后阅读全文

posted @ 2019-10-26 10:02 上海小墨子阅读(365) 评论(0) 推荐(0) 编辑

2019年10月22日

yarn多租户管理

摘要： yarn多租户配置管理(CapacityScheduler) hadoop的版本为2.7 一：多租户实现前，只有一个default队列二配置文件修改 yarn-site.xml <property> <name>yarn.admin.acl</name> <value>hadp</value> 阅读全文

posted @ 2019-10-22 18:53 上海小墨子阅读(1978) 评论(0) 推荐(0) 编辑

2019年9月27日

Flume-ng源码解析之Sink组件--转载

摘要： Flume-ng源码解析之Sink组件如果你还没看过Flume-ng源码解析系列中的启动流程和Channel组件，可以点击下面链接：Flume-ng源码解析之启动流程Flume-ng源码解析之Channel组件作为启动流程中第二个启动的组件，我们今天来看看Sink的细节 1 Sink Sink在阅读全文

posted @ 2019-09-27 16:18 上海小墨子阅读(477) 评论(0) 推荐(0) 编辑

2019年9月25日

Flume多个Agent实例--转载

摘要： Flume多个Agent实例 Flume Log 多个Agent的数据汇聚到同一个Agent 我这里是用本机模拟此架构，三个日志收集Flume Agent节点和一个日志Flume Collector节点 Agent1节点的flume.conf配置 12345678910111213141516171 阅读全文

posted @ 2019-09-25 10:41 上海小墨子阅读(1958) 评论(0) 推荐(0) 编辑

CPU高的解决方法

摘要： CPU高的解决方法（flume）我不是创造者，只是搬运工，望大家提出宝贵意见。第一种方法：网上各种解决方法（自己新手，不知道解决思路）：首先比较靠谱的两篇文章，找到CPU高的线程；方法见连接： http://blog.csdn.net/linux_ja/article/details/472 阅读全文

posted @ 2019-09-25 10:39 上海小墨子阅读(358) 评论(0) 推荐(0) 编辑

Flume源码分析--转载

摘要： Flume源码分析 bobcorbett 关注 2017.08.15 11:38* 字数 1942 阅读 408评论 0喜欢 2 首先所有核心组件都会实现org.apache.flume.lifecycle.LifecycleAware接口： public interface LifecycleAw 阅读全文

posted @ 2019-09-25 10:33 上海小墨子阅读(871) 评论(0) 推荐(0) 编辑

Flume-ng的原理和使用--转载

摘要：本文来自转载 JavaChen Blog http://www.jb51.net/article/53542.htm 实例介绍 http://www.cnblogs.com/chushiyaoyue/p/6207638.html 分析Flume的启动过程 http://www.cnblogs.com 阅读全文

posted @ 2019-09-25 10:32 上海小墨子阅读(268) 评论(0) 推荐(0) 编辑

2019年8月19日

spark内核源码深度剖析（2）--Spark的三种提交模式

摘要： spark的三种提交模式： 1- spark内核架构，standalone模式，基于spark自己的Mater-Worker集群； 2- 基于yarn的yarn-cluster模式；主要用于线上生产环境。修改方式spark-submit脚本，--master参数设置为yarn；--deploy-m 阅读全文

posted @ 2019-08-19 13:55 上海小墨子阅读(183) 评论(0) 推荐(0) 编辑

2019年8月13日

java调用so文件

摘要： java调用so文件：先看头文件：确定类，必须保持一致(包括路径：com_tracker_common_business_jobUserTag_contentTags_service_ContentTagsServiceSS) 确定需要调用的方法（例如globalInitFull，返回值为boo 阅读全文

posted @ 2019-08-13 18:00 上海小墨子阅读(8186) 评论(0) 推荐(0) 编辑

公告