通过ossutil迁移日志文件至阿里云OSS

本文为joshua317原创文章,转载请注明：转载自joshua317博客 https://www.joshua317.com/article/255

一、下载和安装

ossutil支持在Windows、Linux、macOS等系统中运行，您可以根据实际环境下载和安装合适的版本。

1.1 版本和运行环境

当前版本：1.7.10
软件源码：ossutil
运行环境
- Windows/Linux/macOS
- 支持架构：x86（32bit、64bit）、ARM（32bit、64bit）

1.2 下载地址

ossutil1.7.8版本基于Golang 1.16版本编译，不支持通过macOS x86 32bit操作系统使用ossutil。因此，ossutil1.7.8及以上版本均不再提供ossutilmac32安装包。

根据您的操作系统下载对应版本，然后按如下步骤安装并配置ossutil，以下均以64位系统为例。

1.3 Linux系统安装

运行以下命令下载ossutil。
```
cd /usr/local/src
wget https://gosspublic.alicdn.com/ossutil/1.7.10/ossutil64
```
注意复制下载地址时会自动加上spm编码内容，使用wget命令下载时注意删除链接中?spm=xxxx的内容。
运行以下命令修改文件执行权限。
```
chmod 755 /usr/local/src/ossutil64
```
使用交互式配置生成配置文件。
1. 输入配置命令。
```
/usr/local/src/ossutil64 config
```
  或者直接写入配置文件：
```
cat  >  /usr/local/src/youConfig <<EOF
[Credentials]
language=CH
endpoint=http://oss-cn-beijing-internal.aliyuncs.com
accessKeyID=xxxxx
accessKeySecret=xxxxx
EOF
```
  使用的时候进行指定配置
```
/usr/local/src/ossutil64 ls oss://yourbucket -c /usr/local/src/youConfig
```
2. 根据提示设置配置文件路径。
  
  建议直接按回车使用默认配置文件的路径。
```
请输入配置文件名，文件名可以带路径（默认为：/home/user/.ossutilconfig，回车将使用默认路径。
如果用户设置为其它路径，在使用命令时需要将--config-file选项设置为该路径）：
```
  ossutil默认使用/home/user/.ossutilconfig作为配置文件，若您设置了配置文件的路径，则每次使用命令时需增加**-c选项指定配置文件。例如配置文件保存为/usr/local/src，使用ls**时，命令格式如下：
```
/usr/local/src/ossutil64 ls oss://yourbucket -c /usr/local/src/youConfig
```
3. 根据提示设置工具的语言。
  
  请输入语言CH或EN。工具使用的语言默认与操作系统保持一致。该配置项将在此次config命令设置成功后生效。
4. 根据提示分别设置Endpoint、AccessKey ID、AccessKey Secret和STSToken参数。
  
  参数说明如下：
  - endpoint：填写Bucket所在地域的Endpoint。各地域Endpoint详情，请参见
    
    访问域名和数据中心。
    
    您也可以增加http://或https://指定ossutil访问OSS使用的协议，默认使用HTTP协议。例如使用HTTPS协议访问深圳的Bucket，设置为https://oss-cn-shenzhen.aliyuncs.com。
  - accessKeyID、accessKeySecret：填写账号的AccessKey。
    - 使用阿里云账号或RAM用户访问时，AccessKey的获取方式，请参见获取AccessKey。
- 使用STS临时授权账号访问时，AccessKey的获取方式，请参见使用STS临时访问凭证访问OSS。
- stsToken：使用STS临时授权账号访问OSS时需要配置该项，否则置空即可。关于stsToken的生成方式，请参见临时访问凭证。
说明关于配置文件的更多信息，请参见config。

1.4 Windows系统安装

单击下载链接下载工具。
将工具解压，并双击运行ossutil.bat文件。
运行以下命令，生成配置文件。
```
D:\ossutil>ossutil64.exe config
```
根据提示设置配置文件。设置方法与Linux系统生成配置文件的方法相同。

1.5 macOS系统安装

运行以下命令下载ossutil。

curl -o ossutilmac64 https://gosspublic.alicdn.com/ossutil/1.7.10/ossutilmac64

运行以下命令修改文件执行权限。
```
chmod 755 ossutilmac64
```
运行以下命令，生成配置文件。
```
./ossutilmac64 config
```
根据提示设置配置文件。设置方法与Linux系统生成配置文件的方法相同。

ARM系统安装

运行以下命令下载ossutil。

wget https://gosspublic.alicdn.com/ossutil/1.7.10/ossutilarm64

运行以下命令修改文件执行权限。
```
chmod 755 ossutilarm64
```
运行以下命令，生成配置文件。
```
./ossutilarm64 config
```
根据提示设置配置文件。设置方法与Linux系统生成配置文件的方法相同。

二、实际应用,系统Centos

注意：下面的例子对应的

bucket的名为：oss-application-log；

ossutil64的配置文件为：/usr/local/src/oss-application-log

2.1 上传文件

/usr/local/src/ossutil64 cp youFile oss://yourBucket/youFile

举例:

/usr/local/src/ossutil64 cp /data/logs/php/php_errors.log oss://oss-application-log/logs/php/php_errors.log

2.2 上传文件夹

/usr/local/src/ossutil64 cp youDir oss://yourBucket/youDir

举例：

/usr/local/src/ossutil64 cp -r /data/logs/php/ oss://oss-application-log/logs/php/

2.3 增量上传文件夹

./ossutil64 cp -r -u yourDir oss://oss-application-log/path

/usr/local/src/ossutil64 cp -r /data/logs/php/ oss://oss-application-log/logs/php/ -c /usr/local/src/oss-application-log -u

2.4 备份日志可以把增量上传命令写入脚本/usr/local/src/ossutil64.sh

#!/usr/bin/bash
/usr/local/src/ossutil64 cp -r  yourDir oss://yourBucket/path -u

举例：

#!/usr/bin/bash
/usr/local/src/ossutil64 cp -r /data/logs/php/ oss://oss-application-log/logs/php/ -c /usr/local/src/oss-application-log -u

开启定时任务

crontab -e

每天2点执行

0 2 * * * sh /usr/local/src/ossutil64.sh