阿里云ilogtail收集自建Kubernetes容器日志文件
背景
1，k8s属于自建。
2，需要收集应用服务容器里面指定目录的日志。
3，计划收集所有私有云php和nginx日志。
4，日志格式化处理。
思考
1，一个私有云一个Project，还是统一放入一个Project。
2，logstore 是一个日志类型一个还是一个私有云一个。
3，logtail配置多个在一个logstore，还是在一个logstore。
注：因为alibaba-log-controller 安装使用的是helm，所以集群需要有helm命令。helm就类似于yum apt。
传送门：helm安装
一、介绍
- 阿里云的日志服务SLS：https://sls.console.aliyun.com/lognext/profile
- 阿里云官方文档：https://help.aliyun.com/document_detail/48869.html
- 日志服务SLS是云原生观测与分析平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。
- 日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。
- 日志服务提供50多种数据接入方案。
- 一句话就是很牛逼。
我今天要说的是，我公司的一个实际的需求：
- 利用阿里云的ilogtail采集工具。
- 收集我们本地idc机房。
- 自建k8s集群。
- 多个日志文件。
再说一点为啥要用阿里云的ilogtail：
- ilogtail可以收集容器里面指定目录下的文件。
- 我们的日志文件没有挂载到宿主机。filebeat就做不到收集容器里面的日志。
- 我们需要收集的文件有nginx的access error。php的info，error.
- 日志分类。
二、安装阿里alibaba-log-controller
2.1 新建Project
- 登录阿里云日志服务控制台https://sls.console.aliyun.com/lognext/profile
- 创建一个以
k8s-log-custom-开头的Project。k8s-log-custom-all-pcloud - k8s-log-custom- 这个是固定开头，但是我看阿里云的安装脚本，这个可以改一下试试。
2.2 安装logtail组件
安装脚本：点击下载脚本
# 这个脚本是被我稍微改了一下，可以定义机器组，传入的最后一个参数就是定义机器组。
bash ./alicloud-log-k8s-custom-install.sh all-pcloud cn-beijing 1234567890 ak sk pcloud-hkgc
参数说明：
| 参数 | 说明 |
| all-pcloud |
创建的Project的名称中的自定义部分。k8s-log-custom-all-pcloud，则此处填写all-pcloud |
|
cn-beijing |
Project所在的地域ID，传送门：点击 |
| 1234567890 |
阿里云账号ID，传送门：点击 |
| ak | ak |
| sk | sk |
|
pcloud-hkgc |
Project的机器组名称，不同的私有云用不同的机器组区分，这个是我加的，方便区别机器组 |
验证:
helm status alibaba-log-controller
查看机器组:
- 然后去阿里云SLS服务上面的Project里面看机器组。
- 这个机器组就是pcloud-hkgc。
- 可以看到这个机器组下面的机器都是在线的。
2.3 收集日志
ilogtail采集器安装完毕了之后就要配置规则去收集日志了。
创建logstore：
- logstore其实就是一个各种日志的集合。
- 其实就是给你想要的日志分个组。
- 很灵活，我就是按照一个私有云集群来分的。
- 一个私有云一个logstore
创建logtail配置：
- logtail其实就是一组收集日志的规则。
- 收集哪个目录 文件的日志，格式化日志。
- 并且可以设置白名单，只收集哪个容器的，或者只收集那个namespaces的。官方文档：https://help.aliyun.com/document_detail/66655.html
说一下我工作中实际的用法：
- nginx access error文件各创建一个logtail配置
- php info error文件各创建一个logtail配置
- 因为我只收集zhumeng命名空间下的，所以我加上了io.kubernetes.pod.namespace：zhumeng 白名单。
- 并且日志路径匹配那每次都会收集/var/www/html/storage/logs/schedule*.log，所以这里的需要过滤掉。采集黑名单文件路径。
- config-operation-log logstore不能删除。这个是logtail容器插件自己的心跳。
下面再贴一个我收集php日志的截图
三、展示
- 我用机器组区分不同的k8s集群
- 用logstore把集群的不同日志放到一个日志库里
- 用logtail挂载到不同的机器组
