Mac/Linux 从Google Cloud Storage 下载财务报告数据

1. 摘要

  • 配置Mac/Linux 代理
  • 安装gsutil工具及配置环境
  • 确认 Google Cloud Storage的关键信息
  • 使用 gsutil cp gs://BUCKET_NAME/OBJECT_NAME /目标文件路径

2. 配置Mac/Linux 代理

2.1. 前提：本文代理服务使用的是ss vTWOray，默认为socks5。

  • 虽然gsutil支持socks代理协议，但因为下载效率问题，本文依旧采用http协议。如你的代理服务默认是socks协议，需要先将其转化成http模式。
    转化成http代理教程如下:
    Mac上使用polipo将socks5代理转为http代理

2.2. 安装python3.7以上版本，并配置为默认执行

  • 查看python版本：python -V
  • 查看python3执行路径：which python3
  • 配置python3为默认执行命令
    编辑环境变量配置文件：vim ~/.zshrc 或者 vim ~/.bash_profile
    添加命令：alias python="/usr/local/bin/python3.7"
    保存退出并 source ~/.zshrc
  • 查看python版本：python -V

2.3. 配置代理

  • vim ~/.zshrc
alias proxy="export http_proxy=http://127.0.0.1:8001;export https_proxy=http://127.0.0.1:8001;export HTTP_PROXY=http://127.0.0.1:8001;export HTTPS_PROXY=http://127.0.0.1:8001" 
alias unproxy="unset http_proxy"

2.4. 检验终端的代理状态

3. 安装gsutil工具及配置环境

    vim ~/.zshrc 
    添加命令：export PATH=${PATH}:$HOME/gsutil
    保存退出 source  ~/.zshrc
  • 运行gsutil

4. 确认 Google Cloud Storage的关键信息

  • 进入目标：Google Cloud Platfrom
  • 点击左上导航栏找到：Cloud Storage并进入Setting选项
  • 点击进入Interoperability页面
  • 找到Access keys for your user account 并Create a key
  • 保存生成的Access key 和 Secret

4.1. gutil的boto配置

  • 编辑.boto文件 ：vim ~/.boto
  • 代理配置
    找到 [Boto]
    找到一下参数并修改为自己的代理数据
    proxy = 127.0.0.1
    proxy_type = http
    proxy_port = 8001
  • 密钥配置
    找到 [Credentials]
    找到一下参数并修改为刚生成的Access key 和 Secret
      gs_access_key_id = GOOGYROMDHOUQNCZXKZS
      gs_secret_access_key = zdndwhQbJ7H2s2261YdRGvlygIB2OnWaubM

5. 使用 gsutil cp gs://BUCKET_NAME/OBJECT_NAME /目标文件路径

    通过单击Download报告页面上相应部分标题旁边的Copy Cloud Storage URI按钮，找到您的报告桶ID。
    您的云存储URI以pubsite_prod_rev开头(例如，pubsite_prod_rev_01234567890987654321)。
  • gsutil cp gs://pubsite_prod_rev_01234567890987654321/sales/salesreport_202202.zip /Users/cheneychan

参考文档

posted @ 2022-02-10 12:36  MrCheney  阅读(421)  评论(1)  编辑  收藏  举报