python 通过 url 下载文件包 data-downloader

将下面代码中的your_usernameyour_password,改为自己在哨兵官网注册的用户名与密码,并复制到Python编辑器中执行。

from data_downloader import downloader

netrc = downloader.Netrc()
netrc.add('scihub.copernicus.eu','your_username','your_password')

执行后会在用户目录创建一个.netrc文件,当下载需要帐号密码的时候,会读取此文件。

如果账号或密码输入错误,执行以下代码进行更新:

netrc.add('scihub.copernicus.eu','your_username','your_password',overwrite=True)

 

一个个下载文件

  1. 可以通过改变folder_outurl_file路径,来改变文件下载目录与包含url的文件路径
  2. 本脚本会自动跳过已下载的文件,并且支持断点续传。如果下载中断,个别文件下载不完整,重新执行本脚本即可。
urls = ["https://scihub.copernicus.eu/dhus/odata/v1/Products('b034576b-4c26-48bc-ac05-bc49e548d6f2')/$value", "https://scihub.copernicus.eu/dhus/odata/v1/Products('ef96b558-bc9d-43cb-9ebc-73cdae5f6886')/$value"]

folder_out
= 'D:\PycharmProjects\2021\ShaoBingShuju\download_shaobing\data\load\sen_1'
downloader.download_datas(urls, folder_out)

并行下载文件

 

  1. ncore   设置并行下载数  默认为机器核心数

 

urls = ["https://scihub.copernicus.eu/dhus/odata/v1/Products('b034576b-4c26-48bc-ac05-bc49e548d6f2')/$value", "https://scihub.copernicus.eu/dhus/odata/v1/Products('ef96b558-bc9d-43cb-9ebc-73cdae5f6886')/$value"]

folder_out = 'D:\PycharmProjects\2021\ShaoBingShuju\download_shaobing\data\load\sen_1'

downloader.download_datas(urls, folder_out, ncore=2)

 

posted on   闹不机米  阅读(1298)  评论(0编辑  收藏  举报

导航

< 2025年1月 >
29 30 31 1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示