Cat 配置与数据库操作
CAT配置
在CAT中，有非常多的配置去指导监控的行为，每个配置都有相应的配置管理类来管理，都有一个配置名， 配置在数据库或者配置文件中都是以xml格式存储，在运行时会被解析到具体实体类存储。我们选取一个配置的初始化代码来分析：
public class ServerFilterConfigManager implements Initializable { @Inject protected ConfigDao m_configDao; private volatile ServerFilterConfig m_config; private static final String CONFIG_NAME = "serverFilter"; @Override public void initialize() throws InitializationException { try { Config config = m_configDao.findByName(CONFIG_NAME, ConfigEntity.READSET_FULL); String content = config.getContent(); m_configId = config.getId(); m_modifyTime = config.getModifyDate().getTime(); m_config = DefaultSaxParser.parse(content); } catch (DalNotFoundException e) { try { String content = m_fetcher.getConfigContent(CONFIG_NAME); Config config = m_configDao.createLocal(); config.setName(CONFIG_NAME); config.setContent(content); m_configDao.insert(config); m_configId = config.getId(); m_config = DefaultSaxParser.parse(content); } catch (Exception ex) { Cat.logError(ex); } } catch (Exception e) { Cat.logError(e); } if (m_config == null) { m_config = new ServerFilterConfig(); } Threads.forGroup("cat").start(new ConfigReloadTask()); } }
以上代码是serverFilter配置的初始化逻辑，该配置的管理类是ServerFilterConfigManager，可以看到他实现了Initializable接口，所以，在ServerFilterConfigManager被plexus容器实例化之后，就会调用initialize()做一些初始化的工作，咱们看看他的初始化逻辑。
1、他首先读取cat数据库的config表，如果根据配置名 CONFIG_NAME 找到相关的配置信息。
2、如果 config 表中存在配置信息，则通过 DefaultSaxParser.parse(content) 方法解析xml配置信息，并将解析后的配置信息写入实体对象ServerFilterConfig m_config，我们的xml配置文件必须遵守CAT的解析规则，他们才会被正确的解析成对应的XxxConfig对象，具体配置规则大家在有需要的时候一步步摸索。
3、如果 config 表中不存在配置信息，就会去读取默认 xml 文件， 解析后写入到数据库和实体对象，下次再初始化的时候就是直接从数据库读取了，xml一般存在于cat-core/src/main/resources/config/ 和 cat-home/src/main/resources/config/ 两个目录。
4、其中有两个配置 serverFilter 和 aggreationConfig， 开启了检查更新线程，线程每隔1分钟检查配置是否更新，有更新就重新加载配置。
5、server.xml 配置文件的目录是由环境变量 CAT_HOME指定的，由CatHomeModule在setup安装的时候初始化。
我们来列一列cat有哪些配置
| 配置名 | 配置管理类 | 实体类 | 配置文件cat-xxxx/src/main/resources/config/*.xml | 用途 |
| ServerConfigManager | ServerConfigManager | ServerConfig | 环境变量 CAT_HOME/server.xml | 未知 |
| serverFilter | ServerFilterConfigManager | ServerFilterConfig | cat-core/..../serverFilter.xml | 未知 |
| all-report-config | AllReportConfigManager | AllConfig | cat-home/..../all-report-config.xml | 未知 |
| metricProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../metricProductLine.xml | 未知 |
| userProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../userProductLine.xml | 未知 |
| applicationProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../applicationProductLine.xml | 未知 |
| networkProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../networkProductLine.xml | 未知 |
| systemProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../systemProductLine.xml | 未知 |
| databaseProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../databaseProductLine.xml | 未知 |
| cdnProductLine | ProductLineConfigManager | ProductLineConfig | cat-home/..../cdnProductLine.xml | 未知 |
| metricConfig | MetricConfigManager | MetricConfig | cat-home/..../metricConfig.xml | 未知 |
| blackList | BlackListManager | BlackList | cat-home/..../blackList.xml | 未知 |
| routerConfig | RouterConfigManager | RouterConfig | cat-home/..../routerConfig.xml | 未知 |
| domainGroup | DomainGroupConfigManager | DomainGroup | cat-home/..../domainGroup.xml | 未知 |
| heartbeat-display-policy | HeartbeatDisplayPolicyManager | HeartbeatDisplayPolicy | cat-home/..../heartbeat-display-policy.xml | 未知 |
| topologyConfig | TopologyGraphConfigManager | TopologyGraphConfig | cat-home/..../topologyConfig.xml | 未知 |
| topoGraphFormat | TopoGraphFormatConfigManager | TopoGraphFormatConfig | cat-home/..../topoGraphFormat.xml | 未知 |
| bugConfig | BugConfigManager | BugConfig | cat-home/..../bugConfig.xml | 未知 |
| senderConfig | SenderConfigManager | SenderConfig | cat-home/..../senderConfig.xml | 未知 |
| netGraphConfig | NetGraphConfigManager | NetGraphSet | cat-home/..../netGraphConfig.xml | 未知 |
| url-pattern | UrlPatternConfigManager | UrlPattern | cat-home/..../url-pattern.xml | 未知 |
| app-config | AppConfigManager | AppConfig | cat-home/..../appConfig.xml | 未知 |
| app-speed-config | AppSpeedConfigManager | AppSpeedConfig | cat-home/..../app-speed-config.xml | 未知 |
| appRule | AppRuleConfigManager | MonitorRules | cat-home/..../appRule.xml | 未知 |
| storageGroup | StorageGroupConfigManager | StorageGroupConfig | cat-home/..../storageGroup.xml | 未知 |
| activityConfig | ActivityConfigManager | ActivityConfig | cat-home/..../activityConfig.xml | 未知 |
| exceptionRuleConfig | ExceptionRuleConfigManager | ExceptionRuleConfig | cat-home/..../exceptionRuleConfig.xml | 未知 |
| thirdPartyConfig | ThirdPartyConfigManager | ThirdPartyConfig | cat-home/..../thirdPartyConfig.xml | 未知 |
| aggreationConfig | AggregationConfigManager | Aggregation | cat-home/..../aggreationConfig.xml | 未知 |
| webRule | WebRuleConfigManager | MonitorRules | cat-home/..../webRule.xml | 未知 |
| businessRuleConfig | BusinessRuleConfigManager | MonitorRules | cat-home/..../businessRuleConfig.xml | 未知 |
| networkRuleConfig | NetworkRuleConfigManager | MonitorRules | cat-home/..../networkRuleConfig.xml | 未知 |
| databaseRuleConfig | DatabaseRuleConfigManager | MonitorRules | cat-home/..../databaseRuleConfig.xml | 未知 |
| systemRuleConfig | SystemRuleConfigManager | MonitorRules | cat-home/..../systemRuleConfig.xml | 未知 |
| heartbeatRuleConfig | HeartbeatRuleConfigManager | MonitorRules | cat-home/..../heartbeatRuleConfig.xml | 未知 |
| appComparisonConfig | AppComparisonConfigManager | AppComparisonConfig | cat-home/..../appComparisonConfig.xml | 未知 |
| app-command-format-config | CommandFormatConfigManager | CommandFormat | cat-home/..../app-command-format-config.xml | 未知 |
| alertConfig | AlertConfigManager | AlertConfig | cat-home/..../alertconfig.xml | 未知 |
| alertPolicy | AlertPolicyManager | AlertPolicy | cat-home/..../alertPolicy.xml | 未知 |
| transactionRule | TransactionRuleConfigManager | MonitorRules | cat-home/..../transactionRule.xml | 未知 |
| eventRule | EventRuleConfigManager | MonitorRules | cat-home/..../eventRule.xml | 未知 |
| storageSQLRule | StorageRuleConfigManager | MonitorRules | cat-home/..../storageSQLRule.xml | 未知 |
| storageCacheRule | StorageRuleConfigManager | MonitorRules | cat-home/..../storageCacheRule.xml |
未知 |
代码自动生成
上一节 ServerFilterConfigManager 类代码中的配置实体ServerFilterConfig的定义为 public class ServerFilterConfig extends BaseEntity<ServerFilterConfig>，所有的实体类都继承自BaseEntity<T>，这些实体类代码不是自己写的，而是通过插件生成的，插件在cat-home/pom.xml，cat-core/pom.xml，cat-consumer/pom.xml 中都会有定义，用以添加需要的实体，包括后面数据库的操作相关的实体，也是通过类似方式生成，这有点类似mybatis的数据库表对象生成器generator，我们来看看cat-core中的一个插件的定义：
<plugins> <plugin> <groupId>org.unidal.maven.plugins</groupId> <artifactId>codegen-maven-plugin</artifactId> <executions> <execution> <id>generate data model</id> <phase>generate-sources</phase> <goals> <goal>dal-model</goal> </goals> <configuration> <manifest>${basedir}/src/main/resources/META-INF/dal/model/server-manifest.xml, ${basedir}/src/main/resources/META-INF/dal/model/command-format-manifest.xml, ... ${basedir}/src/main/resources/META-INF/dal/model/server-filter-config-manifest.xml, </manifest> </configuration> </execution> <execution> <id>generate dal jdbc model</id> <phase>generate-sources</phase> <goals> <goal>dal-jdbc</goal> </goals> <configuration> <manifest>${basedir}/src/main/resources/META-INF/dal/jdbc/report-manifest.xml, ${basedir}/src/main/resources/META-INF/dal/jdbc/config-manifest.xml, ${basedir}/src/main/resources/META-INF/dal/jdbc/app-manifest.xml, <![CDATA[, ${basedir}/src/main/resources/META-INF/dal/jdbc/report-manifest.xml, ${basedir}/src/main/resources/META-INF/dal/jdbc/config-manifest.xml, ,]]></manifest> </configuration> </execution> </executions> </plugin> <plugins>
插件在pom.xml中定义后，会在Maven Projects功能中展现出来，如图5：
插件会根据xml中的描述，生成相应的类，比如 ServiceFilterConfig实体类的描述文档为： ${basedir}/src/main/resources/META-INF/dal/model/server-filter-config-manifest.xml，这个文档是个父文档，它将引入文档server-filter-config-codegen.xml和server-filter-config-model.xml，这两个文档有对将要生成的类的成员变量、成员函数的描述。
在下一章节的消息分析器中，和报表相关的非常多的实体类 EventReport、EventType、EventName、TransactionReport、TransactionType、TransactionName、Machine等等，都是由CAT代码生成插件根据配置 cat-sonsumer/src/main/resources/META-INFO/dal/model/*.xml 自动生成的，我们可以通过修改xml文件为我们的报表添加新的成员变量。
数据库操作
在上一节插件中，还有一个是与数据库操作相关类的生成有关的，比如上边config表相关数据库操作类的描述文档为${basedir}/src/main/resources/META-INF/dal/jdbc/config-manifest.xml，插件会根据xml文档生成Config、ConfigDao、ConfigEntity三个类放在下图目录中： 
那么config表有什么作用呢？这三个类分别有什么用途？在上一节我们多次用到这张表，例如我们初始化配置的时候，读取config表的记录，如果没有初始数据的话，配置管理类会从xml读取配置信息并插入config表了。
现在我们来讲一讲cat的数据库操作，先看看数据库操作的类图： 
对数据库表的操作位于Dao类中，比如Config表的操作类就是 ConfigDao，所有Dao继承自AbstractDao，每个Dao都会拥有数据库执行引擎(QueryEngine)的指针，用以执行所有的SQL语句，QueryEngine在Dao初始化函数initialize()中被实例化，
每个执行引擎QueryEngine都拥有实体信息管理(EntityInfoManager)，以及查询解析器(QueryResolver)，查询执行器(QueryExecutor)，事务管理器(TransactionManager)，
实体信息管理类(EntityInfoManager)管理每个表的Entity信息，Entity中描述对数据库的具体操作，Config表的实体对象就是ConfigEntity，他会在AbstractDao.initialize()函数中向EntityInfoManager注册。
另外还有一个关键的类，就是Config类，继承自DataObject，是对config表的所有字段的描述。
我们来看几个数据库操作的案例，下面源码，
public class ConfigDao extends AbstractDao { public List<Config> findAllConfig(Readset<Config> readset) throws DalException { Config proto = new Config(); List<Config> result = getQueryEngine().queryMultiple( ConfigEntity.FIND_ALL_CONFIG, proto, readset); return result; } public Config findByName(String name, Readset<Config> readset) throws DalException { Config proto = new Config(); proto.setName(name); Config result = getQueryEngine().querySingle( ConfigEntity.FIND_BY_NAME, proto, readset); return result; } public int insert(Config proto) throws DalException { return getQueryEngine().insertSingle( ConfigEntity.INSERT, proto); } @Override protected Class<?>[] getEntityClasses() { return new Class<?>[] { ConfigEntity.class }; } }
函数功能：
1、findAllConfig函数是获取所有的配置，返回的对象，是Config的List列表，调用查询引擎QueryEngine的queryMultiple 查询多条记录方法，传入的参数分别是实体操作方法ConfigEntity.FIND_ALL_CONFIG、查询条件数据proto、readset。
2、findByName函数则是按名字查询Config配置，逻辑跟上一个类似。
3、insert函数是插入一条config记录，调用查询引擎的insertSingle方法，参数分别是实体方法ConfigEntity.INSERT， 插入数据 proto。
4、getEntityClasses函数获取实体类
接下来我们以查询单条记录作为例子来看看查询引擎的实现逻辑，如下源码：
public class DefaultQueryEngine extends ContainerHolder implements QueryEngine { public <T extends DataObject> T querySingle(QueryDef query, T proto, Readset<?> readset) throws DalException { QueryContext ctx = this.createContext(query, proto); ctx.setReadset(readset); ctx.setFetchSize(1); this.m_queryResolver.resolve(ctx); List<T> results = this.m_queryExecutor.executeQuery(ctx); if(results.isEmpty()) { throw new DalNotFoundException("No record has been found for " + proto); } else { return (DataObject)results.get(0); } } protected <T extends DataObject> QueryContext createContext(QueryDef query, T proto) { QueryContext ctx = new DefaultQueryContext(); EntityInfo enityInfo = this.m_entityManager.getEntityInfo(query.getEntityClass()); Map<String, Object> queryHints = this.getQueryHints(query, proto); ctx.setQuery(query); ctx.setProto(proto); ctx.setEntityInfo(enityInfo); ctx.setQueryHints(queryHints); return ctx; } }
1、数据库引擎首先为该查询和对应条件数据proto创建查询上下文(QueryContext)，
2、然后会设置readset，并设置查询条数为1条，
3、然后将上下文交给查询解析器(QueryResolver)，解析器会根据查询上下文解析成对应的sql状态语，复制到上下文的 m_sqlStatement字段
4、最后将上下文交给执行器QueryExecutor去执行。并返回结果，如果没有找到结果，引擎会抛出DalNotFoundException异常。
数据库连接管理
数据库记录的更新与插入最终会由 MysqlWriteHandler 执行，而查询则由 MysqlReadHandler执行，两个Handler都会通过TransactionManager 的 getConnection 函数获取数据库的连接。 
数据库连接是由DataSource管理，DataSource是由数据源管理器(DataSourceManager)管理，TransactionManager 拥有DataSourceManager的指针，DataSourceManager 提供函数getDataSource(String name)获取DataSource对象；
getDataSource函数首先会从DataSourceManager 自身 m_dataSources 中寻找指定数据源，如果没有找到，再从数据源描述管理器(JdbcDataSourceDescriptorManager) 中获取数据库数据源描述信息(JdbcDataSourceDescriptor)，然后利用描述信息去初始化连接池。
描述管理器也是先从自身 m_descriptors 中看是否存在指定描述信息(JdbcDataSourceDescriptor)，如果没有，则会通过 DataSourceProviver 生成描述信息。
DataSourceProviver可以认为是初始数据源描述信息(JdbcDataSourceDescriptor)的提供者，JdbcDataSourceDescriptorManager初始化的时候，Plexus容器会基于xml文档实例化 DataSourceProviver，这些xml文档有 cat-home/....../META-INF/plexus/components-cat-home.xml，cat-consumer/....../META-INF/plexus/components-cat-consumer.xml， cat-core/....../META-INF/plexus/components-cat-core.xml， 文档中的 datasourceFile 就是数据源配置路径，例如下面xml文档：
component> <role>org.unidal.dal.jdbc.datasource.DataSourceProvider</role> <implementation>org.unidal.dal.jdbc.datasource.DefaultDataSourceProvider</implementation> <configuration> <datasourceFile>/data/appdatas/cat/datasources.xml</datasourceFile> </configuration> </component>
JdbcDataSourceDescriptorManager是如何通过DataSourceProviver获取数据源描述信息(JdbcDataSourceDescriptor)？实际上是通过DataSourceProviver读取并解析datasourceFile文件，例如上面的/data/appdatas/cat/datasources.xml，然后将解析后的数据写入 DataSourceDef 对象，然后JdbcDataSourceDescriptorManager调用 buildDescriptor(DataSourceDef ds) 创建描述信息，下面是buildDescriptor的源码：
public class JdbcDataSourceDescriptorManager extends ContainerHolder implements Initializable { private Map<String, JdbcDataSourceDescriptor> m_descriptors = new HashMap(); private List<DataSourceProvider> m_providers; private String m_datasourceFile; protected JdbcDataSourceDescriptor buildDescriptor(DataSourceDef ds) { JdbcDataSourceDescriptor d = new JdbcDataSourceDescriptor(); PropertiesDef properties = ds.getProperties(); String url = properties.getUrl(); String connectionProperties = properties.getConnectionProperties(); if(connectionProperties != null && connectionProperties.length() > 0) { d.setProperty("url", url + "?" + connectionProperties); } else { d.setProperty("url", url); } d.setId(ds.getId()); d.setType(ds.getType()); d.setProperty("driver", properties.getDriver()); d.setProperty("user", properties.getUser()); d.setProperty("password", properties.getPassword()); d.setProperty("login-timeout", Integer.valueOf(this.toTime(ds.getConnectionTimeout()))); d.setProperty("max-idle-time", Integer.valueOf(this.toTime(ds.getIdleTimeout()))); d.setProperty("min-pool-size", ds.getMinimumPoolSize()); d.setProperty("max-pool-size", ds.getMaximumPoolSize()); d.setProperty("checkout-timeout", ds.getCheckoutTimeoutInMillis()); return d; } }
数据源描述信息包含哪些内容呢，我们结合上面源码和下面的 datasources.xml配置来看，
每个data-source都有一个id； type默认jdbc； driver 默认为 com.mysql.jdbc.Driver、url、用户名、密码，登陆超时、连接池大小、超时检测等等。
<data-source id="cat"> <maximum-pool-size>3</maximum-pool-size> <connection-timeout>1s</connection-timeout> <idle-timeout>10m</idle-timeout> <statement-cache-size>1000</statement-cache-size> <properties> <driver>com.mysql.jdbc.Driver</driver> <url><![CDATA[jdbc:mysql://192.168.20.67:3306/cat]]></url> <user>root</user> <password>f63hiccVEv0mMXi</password> <connectionProperties><![CDATA[useUnicode=true&autoReconnect=true]]></connectionProperties> </properties> </data-source>
---------------------
作者：曹号
来源：CSDN
原文：https://blog.csdn.net/caohao0591/article/details/80293833
版权声明：本文为博主原创文章，转载请附上博文链接！
