kettle 日志表migrate SQL

日志 kettle.properties配置文件

 
# trans日志（转换）
KETTLE_TRANS_LOG_DB=10.15.30.168
KETTLE_TRANS_LOG_TABLE=r_log_trans
 
# 步骤日志表 （步骤）
KETTLE_STEP_LOG_DB=localhost
KETTLE_STEP_LOG_TABLE=r_log_trans_step
#  trans性能日志（运行）
KETTLE_TRANS_PERFORMANCE_LOG_DB=localhost
KETTLE_TRANS_PERFORMANCE_LOG_TABLE=r_log_trans_step
# 通道日志表（日志通道）
KETTLE_CHANNEL_LOG_DB=localhost
KETTLE_CHANNEL_LOG_TABLE=r_log_channel
# job和trans的Metrics（度量）日志表
KETTLE_METRICS_LOG_DB=localhost
KETTLE_METRICS_LOG_TABLE=r_log_trans_metrics
 
# job日志
KETTLE_JOB_LOG_DB=localhost
KETTLE_JOB_LOG_TABLE=r_log_job
#  作业项日志表
KETTLE_JOBENTRY_LOG_DB=localhost
KETTLE_JOBENTRY_LOG_TABLE=r_log_job_step

也可以在ktr文件或者java 代码中配置

kettle的建表SQL及部分表注释

-- 转换日志表
-- KETTLE_TRANS_LOG_TABLE

CREATE TABLE r_log_trans
(
    ID_BATCH         INT comment '批次ID（即作业ID）,自递增，主键',
    CHANNEL_ID       VARCHAR(255) comment '日志通道ID（GUID），跟Logging channel log table有关联',
    TRANSNAME        VARCHAR(255) comment '作业名称',
    STATUS           VARCHAR(15) comment '执行状态（start、end、stop、running）',
    LINES_READ       BIGINT comment '最后一个转换，读取的行数',
    LINES_WRITTEN    BIGINT comment '最后一个转换，写入的行数',
    LINES_UPDATED    BIGINT comment '最后一个转换，更新的行数',
    LINES_INPUT      BIGINT comment '最后一个转换，从存储或网络（如文件、数据库等）读取的行数',
    LINES_OUTPUT     BIGINT comment '最后一个转换，输出到存储或网络（如文件、数据库等）的行数',
    LINES_REJECTED   BIGINT comment '最后一个转换，因错误处理导致拒绝的行数',
    ERRORS           BIGINT comment '发生的错误数',
    STARTDATE        DATETIME comment '开始执行时间（kettle的bug，始终是1900-01-01 7:00:00）',
    ENDDATE          DATETIME comment '结束执行时间',
    LOGDATE          DATETIME comment '最后记录日志的时间',
    DEPDATE          DATETIME comment '依赖日期，作业设置中的依赖规则计算的最大日期',
    REPLAYDATE       DATETIME comment '重播日期，跟STARTDATE是同义词',
    LOG_FIELD        LONGTEXT comment '详细日志内容',
    EXECUTING_SERVER VARCHAR(255) comment '哪个服务器在执行当前作业（主机名）',
    EXECUTING_USER   VARCHAR(255) comment '采用存储库方式，则是登录存储库的用户；否则为当前系统的登录用户',
    CLIENT           VARCHAR(255) comment '客户端（SPOON、PAN、KITCHEN、CARTE）'
);
CREATE INDEX IDX_r_log_trans_1 ON r_log_trans (ID_BATCH);
CREATE INDEX IDX_r_log_trans_2 ON r_log_trans (ERRORS, STATUS, TRANSNAME);
CREATE INDEX IDX_r_log_trans_3 ON r_log_trans (TRANSNAME, LOGDATE);


-- 步骤日志表
-- KETTLE_STEP_LOG_TABLE

CREATE TABLE r_log_trans_step
(
    ID_BATCH       INT comment '批次ID（转换ID），自递增，主键',
    CHANNEL_ID     VARCHAR(255) comment '日志通道ID（GUID），跟t_kettle_job_channel_log的channel_id字段有关联',
    LOG_DATE       DATETIME comment '最后记录日志的时间',
    TRANSNAME      VARCHAR(255) comment '转换名称',
    STEPNAME       VARCHAR(255) comment '步骤名称',
    STEP_COPY      INT comment '当前步骤复制的数量',
    LINES_READ     BIGINT comment '从上一个步骤读取的数量',
    LINES_WRITTEN  BIGINT comment '输出到跟随的步骤（因为支持并发多个步骤）。假设输入1w条数据，且跟随两个步骤，那么LINES_WRITTEN是2w（1w * 2）',
    LINES_UPDATED  BIGINT comment '当前步骤，执行的更新语句的数量',
    LINES_INPUT    BIGINT comment '当前步骤，从来源（文件、数据库、网络等），读取的行数',
    LINES_OUTPUT   BIGINT comment '当前步骤，输出到输出端（文件、数据库、网络等）的行数',
    LINES_REJECTED BIGINT comment '当前步骤，因错误处理导致拒绝的行数',
    ERRORS         BIGINT  comment '当前步骤，发生的错误数'
);
CREATE INDEX IDX_r_log_trans_step_1 ON r_log_trans_step (TRANSNAME, LOG_DATE);

-- 运行日志表
-- KETTLE_TRANS_PERFORMANCE_LOG_TABLE


CREATE TABLE r_log_trans_running
(
    ID_BATCH           INT comment '批次 ID',
    SEQ_NR             INT comment '标识快照记录序列号',
    LOGDATE            DATETIME comment '快照被记录的时间',
    TRANSNAME          VARCHAR(255) comment '转换名称',
    STEPNAME           VARCHAR(255) comment '步骤名称',
    STEP_COPY          INT comment '步骤副本编号',
    LINES_READ         BIGINT comment '步骤中读取了多少行数据',
    LINES_WRITTEN      BIGINT comment '步骤将多少行数据写入到下一个步骤中',
    LINES_UPDATED      BIGINT comment '步骤在执行过程中执行了多少个更新语句',
    LINES_INPUT        BIGINT comment '步骤从输入源中读取了多少行数据',
    LINES_OUTPUT       BIGINT comment '步骤输出了多少行数据到目标源中',
    LINES_REJECTED     BIGINT comment '步骤错误处理而被拒绝的行数',
    ERRORS             BIGINT comment '步骤在执行过程中遇到的错误次数',
    INPUT_BUFFER_ROWS  BIGINT comment '步骤输入缓冲区中的行数',
    OUTPUT_BUFFER_ROWS BIGINT  comment '步骤输出缓冲区中的行数'
);
CREATE INDEX IDX_r_log_trans_running_1 ON r_log_trans_running (TRANSNAME, LOGDATE);



-- 通道日志表（job、trans共用的）
-- KETTLE_CHANNEL_LOG_TABLE

CREATE TABLE r_log_channel
(
    ID_BATCH             INT comment '批次ID（即作业ID），与t_kettle_job_log的id_batch字段有关联',
    CHANNEL_ID           VARCHAR(255) comment '日志通道ID（GUID），跟t_kettle_step_log的channel_id字段有关联',
    LOG_DATE             DATETIME comment '最后记录日志的时间',
    LOGGING_OBJECT_TYPE  VARCHAR(255) comment '被记录对象的类型（如JOB、JOBENTRY、DATABASE、STEP、TRANS）',
    OBJECT_NAME          VARCHAR(255) comment '被记录对象的名称（跟LOGGING_OBJECT_TYPE是一对',
    OBJECT_COPY          VARCHAR(255) comment '被记录步骤对象的复制',
    REPOSITORY_DIRECTORY VARCHAR(255) comment '资源库（或存储）的目录，貌似是JOB、TRANS才有',
    FILENAME             VARCHAR(255) comment 'JOB、JOBENTRY、TRANS的路径（只有作业、转换才有）',
    OBJECT_ID            VARCHAR(255) comment '当前对象ID',
    OBJECT_REVISION      VARCHAR(255) comment '当前对象版本',
    PARENT_CHANNEL_ID    VARCHAR(255) comment '所属转换日志的日志通道ID，跟t_kettle_transformation_log的channel_id字段有关联',
    ROOT_CHANNEL_ID      VARCHAR(255)  comment '所属作业日志的日志通道ID，跟t_kettle_job_log的channel_id字段有关联'
);


-- 指标度量表 Metrics log table
-- KETTLE_METRICS_LOG_TABLE

CREATE TABLE r_log_trans_metrics
(
    ID_BATCH            INT comment '批次 ID',
    CHANNEL_ID          VARCHAR(255) comment '对象的通道 ID',
    LOG_DATE            DATETIME comment '这个记录或度量被写入的时间',
    METRICS_DATE        DATETIME comment '表示这个度量被测量的时间',
    METRICS_CODE        VARCHAR(255) comment '度量的代码（键）',
    METRICS_DESCRIPTION VARCHAR(255) comment '度量的描述',
    METRICS_SUBJECT     VARCHAR(255) comment '被测量的主题（可选）',
    METRICS_TYPE        VARCHAR(255) comment '度量的类型，可以是 START、STOP、SUM、COUNT、MAX 等等',
    METRICS_VALUE       BIGINT  comment '被度量的值'
);

转换日志表

ID_BATCH：批次 ID，每次转换运行时都会递增并产生唯一的编号。
CHANNEL_ID：日志通道 ID (GUID)，可与日志传承信息相匹配。
TRANSNAME：转换的名称。
STATUS：转换的状态，包括“开始”、“结束”和“停止”。
LINES_READ：指定步骤读取的行数。
LINES_WRITTEN：指定步骤写入的行数。
LINES_UPDATED：指定步骤执行的更新语句数目。
LINES_INPUT：从磁盘或网络中由指定步骤读取的行数。这是来自文件、数据库等的输入。
LINES_OUTPUT：由指定步骤写入到磁盘或网络的行数。这是写入到文件、数据库等的输出。
LINES_REJECTED：由指定步骤经过错误处理后被拒绝的行数。
ERRORS：发生的错误数。
STARTDATE：增量 (CDC) 数据处理的日期范围起始时间。它是上次成功运行该转换的“日期范围结束时间”。
ENDDATE：增量 (CDC) 数据处理的日期范围结束时间。
LOGDATE：此日志记录的更新时间。如果转换的状态为“结束”，则它是转换的结束时间。
DEPDATE：依赖日期，即转换设置中依赖规则计算出的最大日期。
REPLAYDATE：重播日期，是转换开始时间的同义词。
LOG_FIELD：包含运行的完整文本日志的字段。通常这是一个 CLOB 或 (long) TEXT 类型的字段。
EXECUTING_SERVER：执行此转换的服务器。
EXECUTING_USER：执行此转换的用户。如果有仓库用户则使用该用户，否则使用操作系统用户。
CLIENT：执行转换的客户端，包括 Spoon、pan、kitchen 和 carte 等。

步骤日志表

I* D_BATCH：批次 ID，用于标识该记录属于哪个批次。该值在任何时候都是唯一的。

CHANNEL_ID：日志通道 ID，表示该日志来自哪个通道进行的记录，可以与日志传承信息相匹配。
TRANSNAME：转换名称，表示该日志记录所针对的转换的名称。
STATUS：转换的状态，包括“开始”、“结束”和“停止”。
LINES_READ：指定步骤读取的行数。
LINES_WRITTEN：指定步骤写入的行数。
LINES_UPDATED：指定步骤执行的更新语句数目。
LINES_INPUT：从磁盘或网络中由指定步骤读取的行数。
LINES_OUTPUT：由指定步骤写入到磁盘或网络的行数。
LINES_REJECTED：由指定步骤经过错误处理后被拒绝的行数。
ERRORS：发生的错误数。
STARTDATE：增量数据处理的日期范围起始时间，是上次成功运行该转换的“日期范围结束时间”。
ENDDATE：增量数据处理的日期范围结束时间。
LOGDATE：此日志记录的更新时间。如果转换的状态为“结束”，则它是转换的结束时间。
DEPDATE：依赖日期，即转换设置中依赖规则计算出的最大日期。
REPLAYDATE：重播日期，是转换开始时间的同义词。
LOG_FIELD：包含运行的完整文本日志的字段。通常这是一个 CLOB 或 (long) TEXT 类型的字段。
EXECUTING_SERVER：执行此转换的服务器。
EXECUTING_USER：执行此转换的用户。如果有仓库用户则使用该用户，否则使用操作系统用户。
CLIENT：执行转换的客户端，包括 Spoon、pan、kitchen 和 carte 等。

运行日志表

ID_BATCH：批次 ID，用于标识该性能快照属于哪个批次。该值可能对于跟踪和分析转换执行的顺序和结果非常重要。
SEQ_NR：一个简单的序列号，用于将快照记录分离（1..N）。该字段可以用于标识快照记录的序列号，便于追踪历史性能数据的变化。
LOGDATE：快照日期和时间，表示这个性能快照被记录的时间。
TRANSNAME：该性能快照所属的转换名称，表示这个性能快照是对哪个转换进行的性能分析。
STEPNAME：该性能快照所属的步骤名称，表示这个性能快照是对哪个步骤进行的性能分析。
STEP_COPY：步骤副本编号，表示该步骤的第几个副本。例如，如果某个步骤被复制了多次并行执行，那么需要使用该字段来区分不同的副本。
LINES_READ：在此期间从之前步骤读取的行数，表示该步骤从之前步骤中读取了多少行数据。
LINES_WRITTEN：在此期间写入后续步骤的行数，表示该步骤将多少行数据写入到下一个步骤中。
LINES_UPDATED：在此期间执行的更新语句数，表示该步骤在执行过程中执行了多少个更新语句。
LINES_INPUT：在此期间从输入源读取的行数，表示该步骤从输入源中读取了多少行数据。
LINES_OUTPUT：在此期间输出的行数，表示该步骤输出了多少行数据到目标源中。
LINES_REJECTED：在此期间由于步骤错误处理而被拒绝的行数，表示该步骤在执行过程中出现了错误，被错误处理机制拒绝的数据行数。
ERRORS：在此期间发生的错误数，表示该步骤在执行过程中遇到的错误次数。
INPUT_BUFFER_ROWS：在记录此性能快照时，步骤输入缓冲区中的行数，表示该步骤在记录快照时输入缓冲区的大小。
OUTPUT_BUFFER_ROWS：在记录此性能快照时，步骤输出缓冲区中的行数，表示该步骤在记录快照时输出缓冲区的大小。

通道日志表

ID_BATCH：批次 ID，用于标识该记录属于哪个批次。该值可能对于跟踪和分析日志执行的顺序和结果非常重要。
CHANNEL_ID：日志通道 ID，表示该日志来自哪个通道进行的记录。
LOG_DATE：日志日期和时间，表示这个日志记录被写入的时间。
LOGGING_OBJECT_TYPE：日志记录对象的类型，例如是一个作业还是一个转换。
OBJECT_NAME：对象的名称，表示这个日志记录所针对的对象的名称。
OBJECT_COPY：对象的副本编号，表示该对象的第几个副本。例如，如果某个任务被复制了多次并行执行，那么需要使用该字段来区分不同的副本。
REPOSITORY_DIRECTORY：对象所在的仓库目录，表示该对象在仓库中的位置。
FILENAME：文件名，表示该对象的元数据所存储的文件名。
OBJECT_ID：对象在仓库中的 ID，表示该对象在仓库中的唯一标识。
OBJECT_REVISION：对象在仓库中的版本号，表示该对象在仓库中的版本。
PARENT_CHANNEL_ID：父对象的日志通道 ID，表示该日志记录是由哪个父对象触发的。
ROOT_CHANNEL_ID：根对象的通道 ID，表示该日志记录来自哪个根对象触发。

指标度量表

ID_BATCH：批次 ID，用于标识该记录或度量属于哪个批次。该值可能对于跟踪和分析记录或度量执行的顺序和结果非常重要。
CHANNEL_ID：记录该信息的对象的通道 ID，表示该信息来自哪个通道。
LOG_DATE：记录日期和时间，表示这个记录或度量被写入的时间。
METRICS_DATE：度量日期和时间，表示这个度量被测量的时间。
METRICS_CODE：度量的代码（键），表示这个度量是什么类型的度量。
METRICS_DESCRIPTION：度量的描述，表示这个度量的具体含义和作用。
METRICS_SUBJECT：被测量的主题（可选），表示这个度量是针对哪个主题进行的度量。
METRICS_TYPE：度量的类型，可以是 START、STOP、SUM、COUNT、MAX 等等，表示这个度量的计算方式和类型。
METRICS_VALUE：被度量的值，表示这个度量的具体值。

posted @ 2023-05-31 10:53 vx_guanchaoguo0 阅读(367) 评论(0) 编辑收藏举报

会员力量，点亮园子希望

刷新页面返回顶部

guanchaoguo

kettle 日志表migrate SQL

日志 kettle.properties配置文件

也可以在ktr文件或者java 代码中配置

kettle的建表SQL及部分表注释

转换日志表

步骤日志表

运行日志表

通道日志表

指标度量表

公告