存储-InfluxDB
1 TSDB
influxDB是一个time series时间序列数据库。
在监控系统的开发中，大体分为采集-存储-可视化三个大类。监控指标有很显著的时间特征数据，一般采用TSDB存储。
在TSDB中，一个指标(metrics)可以添加多个带索引的tag，然后对tag进行筛选，方便可视化的管理。
现在很多公司在用influxDB，包括一些大企。 它的优点是支持多维和多字段。缺点是开源的部分，不支持较大的并发，只能在对性能要求不大的场景中使用。
场景大的公司，有的会自研TSDB，以适应自身业务特征。
观念上，你可以认为measurement是一个SQL表，主索引永远是time。tags和fields这个表中有效的字段。tags是被索引的，而fileds则不。不同之处在于，在influxDB中，你可以有百万的measurement，you don’t have to define schemas up-front, and null values aren’t stored.
points使用Line协议写入influxDB，格式如下：
|
1
|
<measurement>[,<tag-key>=<tag-value>...] <field-key>=<field-value>[,<field2-key>=<field2-value>...] [unix-nano-timestamp] |
2 安装
wget https://dl.influxdata.com/influxdb/releases/influxdb-1.2.4.x86_64.rpm yum localinstall influxdb-1.2.4.x86_64.rpm
/usr/bin influxd influxdb服务器 influx influxdb命令行客户端 influx_inspect 查看工具 influx_stress 压力测试工具 influx_tsm 数据库转换工具（将数据库从b1或bz1格式转换为tsm1格式） /var/lib/influxdb data 存放最终存储的数据，文件以.tsm结尾 meta 存放数据库元数据 wal 存放预写日志文件 /var/log/influxdb influxd.log 日志文件 /etc/influxdb influxdb.conf 配置文件 /var/run/influxdb influxd.pid PID文件
systemctl start influxdb
3 conf
全局配置
|
1
2
|
reporting-disabled = false # 该选项用于上报influxdb的使用信息给InfluxData公司，默认值为falsebind-address = ":8088" # 备份恢复时使用，默认值为8088 |
1、meta相关配置
|
1
2
3
4
|
[meta]dir = "/var/lib/influxdb/meta" # meta数据存放目录retention-autocreate = true # 用于控制默认存储策略，数据库创建时，会自动生成autogen的存储策略，默认值：truelogging-enabled = true # 是否开启meta日志，默认值：true |
2、data相关配置
|
1
2
3
4
5
6
7
8
9
10
|
[data]dir = "/var/lib/influxdb/data" # 最终数据（TSM文件）存储目录wal-dir = "/var/lib/influxdb/wal" # 预写日志存储目录query-log-enabled = true # 是否开启tsm引擎查询日志，默认值： truecache-max-memory-size = 1048576000 # 用于限定shard最大值，大于该值时会拒绝写入，默认值：1000MB，单位：bytecache-snapshot-memory-size = 26214400 # 用于设置快照大小，大于该值时数据会刷新到tsm文件，默认值：25MB，单位：bytecache-snapshot-write-cold-duration = "10m" # tsm引擎 snapshot写盘延迟，默认值：10Minutecompact-full-write-cold-duration = "4h" # tsm文件在压缩前可以存储的最大时间，默认值：4Hourmax-series-per-database = 1000000 # 限制数据库的级数，该值为0时取消限制，默认值：1000000max-values-per-tag = 100000 # 一个tag最大的value数，0取消限制，默认值：100000 |
3、coordinator查询管理的配置选项
|
1
2
3
4
5
6
7
8
|
[coordinator]write-timeout = "10s" # 写操作超时时间，默认值： 10smax-concurrent-queries = 0 # 最大并发查询数，0无限制，默认值： 0query-timeout = "0s # 查询操作超时时间，0无限制，默认值：0slog-queries-after = "0s" # 慢查询超时时间，0无限制，默认值：0smax-select-point = 0 # SELECT语句可以处理的最大点数（points），0无限制，默认值：0max-select-series = 0 # SELECT语句可以处理的最大级数（series），0无限制，默认值：0max-select-buckets = 0 # SELECT语句可以处理的最大"GROUP BY time()"的时间周期，0无限制，默认值：0 |
4、retention旧数据的保留策略
|
1
2
3
|
[retention]enabled = true # 是否启用该模块，默认值 ： truecheck-interval = "30m" # 检查时间间隔，默认值 ："30m" |
5、shard-precreation分区预创建
|
1
2
3
4
|
[shard-precreation]enabled = true # 是否启用该模块，默认值 ： truecheck-interval = "10m" # 检查时间间隔，默认值 ："10m"advance-period = "30m" # 预创建分区的最大提前时间，默认值 ："30m" |
6、monitor 控制InfluxDB自有的监控系统。 默认情况下，InfluxDB把这些数据写入_internal 数据库，如果这个库不存在则自动创建。 _internal 库默认的retention策略是7天，如果你想使用一个自己的retention策略，需要自己创建。
|
1
2
3
4
|
[monitor]store-enabled = true # 是否启用该模块，默认值 ：truestore-database = "_internal" # 默认数据库："_internal"store-interval = "10s # 统计间隔，默认值："10s" |
7、admin web管理页面
|
1
2
3
4
5
|
[admin]enabled = true # 是否启用该模块，默认值 ： falsebind-address = ":8083" # 绑定地址，默认值 ：":8083"https-enabled = false # 是否开启https ，默认值 ：falsehttps-certificate = "/etc/ssl/influxdb.pem" # https证书路径，默认值："/etc/ssl/influxdb.pem" |
8、http API
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
|
[http]enabled = true # 是否启用该模块，默认值 ：truebind-address = ":8086" # 绑定地址，默认值：":8086"auth-enabled = false # 是否开启认证，默认值：falserealm = "InfluxDB" # 配置JWT realm，默认值: "InfluxDB"log-enabled = true # 是否开启日志，默认值：truewrite-tracing = false # 是否开启写操作日志，如果置成true，每一次写操作都会打日志，默认值：falsepprof-enabled = true # 是否开启pprof，默认值：truehttps-enabled = false # 是否开启https，默认值：falsehttps-certificate = "/etc/ssl/influxdb.pem" # 设置https证书路径，默认值："/etc/ssl/influxdb.pem"https-private-key = "" # 设置https私钥，无默认值shared-secret = "" # 用于JWT签名的共享密钥，无默认值max-row-limit = 0 # 配置查询返回最大行数，0无限制，默认值：0max-connection-limit = 0 # 配置最大连接数，0无限制，默认值：0unix-socket-enabled = false # 是否使用unix-socket，默认值：falsebind-socket = "/var/run/influxdb.sock" # unix-socket路径，默认值："/var/run/influxdb.sock" |
9、subscriber 控制Kapacitor接受数据的配置
|
1
2
3
4
5
6
7
|
[subscriber]enabled = true # 是否启用该模块，默认值 ：truehttp-timeout = "30s" # http超时时间，默认值："30s"insecure-skip-verify = false # 是否允许不安全的证书ca-certs = "" # 设置CA证书write-concurrency = 40 # 设置并发数目，默认值：40write-buffer-size = 1000 # 设置buffer大小，默认值：1000 |
10、graphite 相关配置
|
1
2
3
4
5
6
7
8
9
10
11
12
|
[[graphite]]enabled = false # 是否启用该模块，默认值 ：falsedatabase = "graphite" # 数据库名称，默认值："graphite"retention-policy = "" # 存储策略，无默认值bind-address = ":2003" # 绑定地址，默认值：":2003"protocol = "tcp" # 协议，默认值："tcp"consistency-level = "one" # 一致性级别，默认值："onebatch-size = 5000 # 批量size，默认值：5000batch-pending = 10 # 配置在内存中等待的batch数，默认值：10batch-timeout = "1s" # 超时时间，默认值："1s"udp-read-buffer = 0 # udp读取buffer的大小，0表示使用操作系统提供的值，如果超过操作系统的默认配置则会出错。 该配置的默认值：0separator = "." # 多个measurement间的连接符，默认值： "." |
11、collectd
|
1
2
3
4
5
6
7
8
9
10
11
|
[[collectd]]enabled = false # 是否启用该模块，默认值 ：falsebind-address = ":25826" # 绑定地址，默认值： ":25826"database = "collectd" # 数据库名称，默认值："collectd"retention-policy = "" # 存储策略，无默认值typesdb = "/usr/local/share/collectd" # 路径，默认值："/usr/share/collectd/types.db"auth-file = "/etc/collectd/auth_file"batch-size = 5000batch-pending = 10batch-timeout = "10s"read-buffer = 0 # udp读取buffer的大小，0表示使用操作系统提供的值，如果超过操作系统的默认配置则会出错。默认值：0 |
12、opentsdb
|
1
2
3
4
5
6
7
8
9
10
11
12
|
[[opentsdb]]enabled = false # 是否启用该模块，默认值：falsebind-address = ":4242" # 绑定地址，默认值：":4242"database = "opentsdb" # 默认数据库："opentsdb"retention-policy = "" # 存储策略，无默认值consistency-level = "one" # 一致性级别，默认值："one"tls-enabled = false # 是否开启tls，默认值：falsecertificate= "/etc/ssl/influxdb.pem" # 证书路径，默认值："/etc/ssl/influxdb.pem"log-point-errors = true # 出错时是否记录日志，默认值：truebatch-size = 1000batch-pending = 5batch-timeout = "1s" |
13、udp
|
1
2
3
4
5
6
7
8
9
|
[[udp]]enabled = false # 是否启用该模块，默认值：falsebind-address = ":8089" # 绑定地址，默认值：":8089"database = "udp" # 数据库名称，默认值："udp"retention-policy = "" # 存储策略，无默认值batch-size = 5000batch-pending = 10batch-timeout = "1s"read-buffer = 0 # udp读取buffer的大小，0表示使用操作系统提供的值，如果超过操作系统的默认配置则会出错。 该配置的默认值：0 |
14、continuous_queries
|
1
2
3
4
|
[continuous_queries]enabled = true # enabled 是否开启CQs，默认值：truelog-enabled = true # 是否开启日志，默认值：truerun-interval = "1s" # 时间间隔，默认值："1s" |
4 INSERT&SELECT
$ influx Connected to http://localhost:8086 version 1.4.x InfluxDB shell 1.4.x > #进入命令行工具 >CREATE DATABASE <db-name> #全新安装的influxDB只有系统库_internal > USE mydb Using database mydb #切换库 > INSERT temperature,machine=unit42,type=assembly external=25,internal=37 > #插入数据 #measurement为temperature #有两个tag，machine和type #两个field，external和internal > select * from cpu where time > '2018-11-16T07:26:30Z' and cpu = 'cpu-total' name: cpu time cpu host region usage_guest usage_guest_nice usage_idle usage_iowait usage_irq usage_nice usage_softirq usage_steal usage_system usage_user value ---- --- ---- ------ ----------- ---------------- ---------- ------------ --------- ---------- ------------- ----------- ------------ ---------- ----- 1542353200000000000 cpu-total webmaster 0 0 99.49647532728007 0 0 0 0 0 0.4028197381671498 0.10070493454184111 1542353210000000000 cpu-total webmaster 0 0 99.24433249371371 0.05037783375317808 0 0 0.05037783375315571 0 0.40302267002520986 0.25188916876574724 1542353220000000000 cpu-total webmaster 0 0 99.14400805638542 0.05035246727091133 0 0 0 0 0.3021148036253249 0.5035246727088272 1542353230000000000 cpu-total webmaster 0 0 99.19678714859504 0 0 0 0 0 0.4016064257028379 0.4016064257028379 1542353240000000000 cpu-total webmaster 0 0 99.34343434344756 0 0 0 0.05050505050505128 0 0.35353535353540383 0.2525252525253192 1542353250000000000 cpu-total webmaster 0 0 99.44612286001723 0.050352467270849 0 0 0 0 0.35246727089622926 0.15105740181261856 1542353260000000000 cpu-total webmaster 0 0 98.99345747357455 0 0 0 0.05032712632108857 0 0.6542526421741425 0.3019627579265493 1542353270000000000 cpu-total webmaster 0 0 99.24433249369552 0 0 0 0 0 0.4534005037783049 0.3022670025188699 1542353280000000000 cpu-total webmaster 0 0 99.29577464789016 0 0 0 0 0 0.4024144869215736 0.3018108651911981 1542353290000000000 cpu-total webmaster 0 0 99.39546599496731 0.05037783375317808 0 0 0.05037783375315123 0 0.3022670025189253 0.20151133501264074 1542353300000000000 cpu-total webmaster 0 0 98.42958459979086 0 0 0 0.10131712259371246 0 1.0638297872339966 0.40526849037483187 1542353310000000000 cpu-total webmaster 0 0 98.68487607486902 0.10116337885683147 0 0 0.10116337885684942 0 0.4046535154273977 0.7081436519979639 1542353320000000000 cpu-total webmaster 0 0 99.04282115867855 0 0 0 0 0 0.7052896725440059 0.25188916876570105 #从measurement cpu中读取所有tag、field、timestamp。 #筛选：时间戳大于某个值，cpu（tagk）=cpu-total（tagv） > select mean(usage_idle) from cpu where time > '2018-11-16T01:26:30Z' group by time(10m) limit 10 name: cpu time mean ---- ---- 1542331200000000000 97.81860093129568 1542331800000000000 97.94023021659679 1542332400000000000 98.15295604641332 1542333000000000000 98.00160525604912 1542333600000000000 98.25745141869217 1542334200000000000 98.34462917811965 1542334800000000000 93.87658077438817 1542335400000000000 98.25713867293715 1542336000000000000 1542336600000000000 #在cpu（measurement）中获取usage_idle（fieldk）的平均值（mean），间隔是10m。限制输出行为10
参考博文：http://www.cnblogs.com/MikeZhang/p/InfluxDBInstall20170206.html
