python 进行ftp服务器和sftp服务器连接

1.背景。

最近接到一个任务，需要写一个python脚本，从客户公司的服务器拉取图片存放到我们公司的sftp服务器。

由于没头没脑，所以我采用无限遍历，将对方服务器中文件的路径原原本本的复制到我们公司的服务器。、

后来发现对方数据量过于庞大，所以决定将路径分别存放到多个csv中，csv就充当了数据库

然后第二个脚本是在csv里获取需要下载的图片地址将他存入sftp。

流程图

2.ftp

刚开始写的是这样一个版本，后来因为运行到一半的时候，由于ftp连接断掉，脚本抛出异常停了，重头开始需要很多时间，所以后来又做了断点续传

import time
from ftplib import FTP
import os
import csv
"""
1.操作日志
2.
"""
data_num = 1

class FTP_OP(object):
    def __init__(self, host, username, password, port):
        """
        初始化ftp
        :param host: ftp主机ip
        :param username: ftp用户名
        :param password: ftp密码
        :param port:  ftp端口 （默认21）
        """
        self.host = host
        self.username = username
        self.password = password
        self.port = port
        self.csv = None

    def ftp_connect(self):
        """
        连接ftp
        :return:
        """
        ftp = FTP()
        ftp.set_debuglevel(0)  # 不开启调试模式
        ftp.connect(host=self.host, port=self.port)  # 连接ftp
        ftp.login(self.username, self.password)  # 登录ftp
        return ftp
    def download_file(self, dst_file_path ):
        """
        从ftp下载文件到本地
        :param dst_file_path: 本地存放路径
        :return:
        """
        ftp = self.ftp_connect()
        print(ftp.getwelcome() ) #显示登录ftp信息
        ftp.cwd("ftpstufGAP")
        for dir in ftp_file_path:
            ftp.cwd(dir)
            for file_name in ftp.nlst(ftp.pwd()):
                self.judge_file_dir(ftp, file_name, dst_file_path)
            ftp.cwd("..")
        ftp.quit()

    def judge_file_dir(self,ftp,file_name,dst_file_path):
        '''
        递归便利文件
        :param ftp: 
        :param file_name: 
        :param dst_file_path: 
        :return: 
        '''
        if file_name.find(".") != -1:
            if file_name.lower().endswith(".jpg") or file_name.lower().endswith(".png"):
                print("记录成功",file_name)
        else:
            ftp.cwd(file_name)
            for file_name in ftp.nlst(ftp.pwd()):
                res = self.judge_file_dir(ftp,file_name,dst_file_path)
                if not res:
                    continue
            ftp.cwd("..")

    def write_csv(self,ftp_file):
        '''将self.csv的数据写入data.csv文件'''
        global data_num
        ### 1万条写一个csv
        if len(self.csv)>10000:
            data_num +=1
            self.csv.clear()
            self.csv = [["Number", "FolderBane", "BarCode", "FileName"]]

        with open('downLoad/data/data%s.csv'%data_num, 'w',encoding="utf-8", newline='')as csv_file:
            # 获取一个csv对象进行内容写入
            writer = csv.writer(csv_file)
            for row in self.csv:
                # writerow 写入一行数据
                writer.writerow(row)
        return True

if __name__ == "__main__":
    host = "127.0.0.1"
    username = "anonymous"
    password = ""
    port = 21
    ftp_file_path = ["2020","2019"] # 下载的文件夹子
    dst_file_path = os.getcwd()
    ftp = FTP_OP(host=host, username=username, password=password, port=port)
    start_time = time.time()
    print("记录开始")
    ftp.download_file(dst_file_path)
    between_time = time.time()
    print("记录结束，用时%.2fs"%(between_time-start_time))

3.sftp 图片上传

将本地的文件上传到sftp服务器,由于paramiko,没有提供一次行创建多层目录的功能，所以采用了一个笨办法，把目录按"/"切割成字符串

在逐步拼接出目录，使用 sftp.listdir(sftp_path) 方法，如果抛出异常则目录不存在是用 sftp.mkdir(sftp_path)创建出这一级目录。

 class SFTP_OP(object):
    def __init__(self, host, username, password, port):
        self.host = host
        self.port = port
        self.username = username
        self.password = password
        self.set= set()

    def sftp_upload(self,local_list,remote):
        sf = paramiko.Transport((self.host,self.port))
        sf.connect(username = self.username,password = self.password)
        sftp = paramiko.SFTPClient.from_transport(sf)
        for local_url in local_list:
            sftp_url = os.path.join(remote,local_url.split("downLoad/")[-1])
            sftp_path_list = sftp_url.split("/")[4:-1]
            sftp_path = "/upload/pim/photobaseimages"
            for path in sftp_path_list:
                sftp_path = sftp_path + "/" +path
                if sftp_path in self.set:
                    continue
                else:
                    try:
                        sftp.listdir(sftp_path)
                        self.set.add(sftp_path)
                    except Exception as e:
                        sftp.mkdir(sftp_path)
                        self.set.add(sftp_path)
            print("local_url"+local_url)
            print("sftp_url"+sftp_url)
            sftp.put(local_url,sftp_url)#上传文件
            print("上传成功",sftp_url)
        sf.close()