dremio ProfileStore 简单说明

以前简单说明过dremio 的jobprofile query，现在简单说明下dremio ProfileStore

参考实现

如下图，实际上只有一个LocalProfileStore，数据是存储咱爱kv storage 中的，但是对于kv 存储的只有完成的profile，其他阶段的数据是直接存储在
内存中的

使用

目前ProfileStore的实现只有LocalProfileStore，对于初始化是在LocalJobTelemetryServer 中，同时也会进行JobTelemetryServiceImpl 服务创建
（一个进程内rpc 的启动）

• LocalJobTelemetryServer 创建

  public void start() throws Exception {

    profileStore = new LocalProfileStore(kvStoreProvider.get());

    profileStore.start();

 

    metricsStore = new LocalMetricsStore();

    metricsStore.start();

 

    server = JobTelemetryRpcUtils.newInProcessServerBuilder(grpcFactory,

      selfEndpoint.get().getFabricPort())

      .maxInboundMetadataSize(81920) // GrpcUtil.DEFAULT_MAX_HEADER_LIST_SIZE * 10

      .intercept(TransmitStatusRuntimeExceptionInterceptor.instance())

       // 会传递profileStore 到 JobTelemetryServiceImpl ，我们的jobprofile 查询会使用到

      .addService(new JobTelemetryServiceImpl(metricsStore, profileStore, tracer, true, executorService))

      .build();

 

    server.start();

    logger.info("LocalJobTelemetryServer is up");

  }

同时此服务只能在协调节点同时配置了job 开启（默认就开启，通过配置继承处理的）
DACDaemonModule 中

    if (isCoordinator && config.getBoolean(DremioConfig.JOBS_ENABLED_BOOL)) {

      registry.bindSelf(new LocalJobTelemetryServer(

        registry.lookup(GrpcServerBuilderFactory.class),

        registry.provider(LegacyKVStoreProvider.class),

        currentEndPoint,

        bootstrapRegistry.lookup(GrpcTracerFacade.class),

        new ContextMigratingExecutorService(new ThreadPoolExecutor(12, Integer.MAX_VALUE, 60L, TimeUnit.SECONDS, new SynchronousQueue<Runnable>())))

      );

 

      registry.bindSelf(new LocalJobCountsServer(

        registry.lookup(GrpcServerBuilderFactory.class),

        registry.provider(KVStoreProvider.class),

        currentEndPoint)

      );

    }

• JobTelemetryServiceImpl 以及BackgroundProfileWriter 的使用
  JobTelemetryServiceImpl 会进行ProfileStore 的实际操作，包含了添加，删除，查询，更新，BackgroundProfileWriter 主要是写入
  profile到ProfileStore 中
• ProfilesExportery以及ExportProfilesResource的使用
  这个主要是cli 以及rest api 的提供，方便进行profile 的导出

说明

以上是一个简单ProfileStore的说明，后边会结合JobTelemetryServiceImpl的写入操作进行详细的说明

参考资料

services/jobtelemetry/server/src/main/java/com/dremio/service/jobtelemetry/server/store/ProfileStore.java
services/jobtelemetry/server/src/main/java/com/dremio/service/jobtelemetry/server/store/LocalProfileStore.java
services/jobtelemetry/server/src/main/java/com/dremio/service/jobtelemetry/server/BackgroundProfileWriter.java
services/jobtelemetry/server/src/main/java/com/dremio/service/jobtelemetry/server/JobTelemetryServiceImpl.java
services/jobtelemetry/server/src/main/java/com/dremio/service/jobtelemetry/server/LocalJobTelemetryServer.java
dac/backend/src/main/java/com/dremio/dac/server/admin/profile/ProfilesExporter.java
dac/backend/src/main/java/com/dremio/dac/resource/ExportProfilesResource.java