图片的采集自动同步方案

fluent 实现多服务器之间的图片集中管理

• 通过inotify自动检测,避免定时任务不实时
• 简化服务能力，历史代码 和 S3的ak sk限制 避免多桶的分割
• 集中管理防止误删除，集中管理只读
• 预算管理，可以对历史 和 冷数据分开处理 防止盗链
• 大数据大模型的训练数据特征数据集中处理

插件使用

fluent-gem install fluent-plugin-s3
fluent-gem install fluent-plugin-inotify

配置

<source>
  @type inotify
  path /path/to/local/images   # 监控的本地图片文件夹路径
  tag s3.upload                # Fluentd 事件标签
  <parse>
    @type none                 # 不解析文件内容
  </parse>
</source>

<match s3.upload>
  @type s3
  aws_key_id YOUR_AWS_ACCESS_KEY_ID     # AWS 访问密钥 ID
  aws_sec_key YOUR_AWS_SECRET_ACCESS_KEY # AWS 秘密访问密钥
  s3_bucket YOUR_S3_BUCKET_NAME          # S3 存储桶名称
  s3_region YOUR_S3_BUCKET_REGION        # S3 存储桶区域
  path images/%Y/%m/%d                   # 在 S3 中保存的路径格式，可以根据需求修改
  buffer_path /var/log/fluentd.buffer    # Fluentd 缓冲区路径
  time_slice_format %Y%m%d              # 时间切片格式
  time_slice_wait 10m                   # 时间切片等待时间
  store_as gzip                         # 存储文件格式，可以选择其他格式
</match>