apache twill 开发参考流程
尽管apache twill 已经退役了，但是已经集成的周边还是不少的，比如dremio 就使用到了twill 对于yarn 的集成支持
参考开发流程
- TwillRunnable 接口
类似多线程开发，我们实现此接口的服务主要就是任务的处理
public class EchoServer implements TwillRunnable {
private static Logger LOG = LoggerFactory.getLogger(EchoServer.class);
private final ServerSocket serverSocket;
private final int port;
public EchoServer() {
}
@Override
public void run() {
while ( isRunning() ) {
Socket socket = serverSocket.accept();
}
}
}
- TwillRunnerService 服务创建
此服务类似ExecutorService
TwillRunnerService runnerService = new YarnTwillRunnerService(
new YarnConfiguration(), zkConnectStr);
runnerService.start();
- 运行开发的任务
此处包含了任务的日志处理
TwillController controller = runnerService.prepare(new EchoServer())
.addLogHandler(new PrinterLogHandler(new PrintWriter(System.out)))
.start();
- 状态监听
controller.addListener(new ListenerAdapter() {
@Override
public void running() {
LOG.info('Echo Server Started');
}
}
- 可选停止服务
controller.terminate().get();
实际运行
需要打包软件
参考命令
export CP=twill-examples-yarn-0.10.0.jar:`hadoop classpath`
java -cp $CP org.apache.twill.example.yarn.HelloWorld {zookeeper_host:port}
说明
以上内容来自官方文档，通过了解可以知道大致的流程，同时对于学习dremio yarn 的集成也比较方便
