Python异步Request操作: aiohttp

 

1. Tutorial

homepage

cnblog: aiohttp的使用

2. 其他库推荐

2.1. aiohttp-requests

这个库时对aiohttp库的网络请求模块的封装,用了这个库,在异步网络请求的时候,可以在写法上更简洁易懂。本质上还是aiohttp库的使用。推荐使用这个库来做网络请求。

2.2. aiofiles

aiofiles是一个用Python编写,用于处理asyncio应用程序中的本地磁盘文件。爬虫过程中用它来进行文件的异步操作。

2.3. grequests

grequests模块相当于是封装了gevent的requests模块。

3. 问题记录

3.1. Multipart.FormData 示例

下面示例展示上传图片至SM.MS。

with open(abspath_file, 'rb') as fp:
    multipart_form_data = aiohttp.FormData(quote_fields=False)  # quote_fields: 将对中文进行转码
    multipart_form_data.add_field('smfile', fp,
                                  content_type="image/jpeg",
                                  filename=os.path.basename(relpath_file),
                                  content_transfer_encoding="base64")

    headers = {'Authorization': self.api_token} if self.api_token else None
    # headers = {"Content-Type": "multipart/form-data"}
    async with aiohttp.ClientSession() as session:
        async with session.post(self.endpoint,
                                data=multipart_form_data,
                                headers=headers) as resp:
            await resp.text()
            str_response = await resp.text()

            json_content = json.loads(str_response)
            if not json_content['success']:
                logger.error(json_content)
                raise UploadError()

            print(f"[+] 完成上传: {relpath_file}")

3.2. with open("xxx") 会被自动关闭

程序是这样的:

with open("xxx", "rb") as fp:
    ...
    async with aiohttp.ClientSession() as session:
        async with session.post(self.endpoint, data=fp) as resp:
            await resp.text()
            ...

    file_hash = hashlib.md5()
    while chunk := fp.read(8192):  # 这里报错:ValueError: read of closed file
        file_hash.update(chunk)
    return file_hash.hexdigest()

报错:ValueError: read of closed file

找到一篇相似的文章,解释不保证准确:

问题是open(...)返回一个文件对象,并且您要将同一文件对象传递给要start()在顶层创建的所有协程。恰好先调度的协程实例将文件对象session.post()作为的一部分传输data,session.post()并将读取文件到最后并关闭文件对象。下一个start()协程将尝试从现在关闭的对象中读取,这将引发异常。

要解决此问题而不多次打开文件,您需要确保实际将数据作为字节对象读取:

data = {'file': open('test_img.jpg', 'rb').read()}

这会将相同的字节对象传递给所有协程,它们应按预期工作。

3.3. filename中文错误

使用post方式,上传multipart到SM.MS时,图像存储没问题,但文件名从中文变成了诸如 %E9%B2%8D%E9%B.jpg 的样子……应该是编码问题。怎么避免呢?

multipart_form_data = aiohttp.FormData(quote_fields=False)  # quote_fields: 将对中文进行转码

使用参数 quote_fields 将避免该问题。

3.4. aiohttp(yarl)对url部分字符自动urldecode

csdn

github

最新碰到一个用 aiohttp 访问不出内容,但是用 requests 能访问的情况,url 是事先进行了 urlencode 的, 下面的 url 随便找了个站点代替,但是把重点的参数提了出来

%40 对应的是 `@`
%3a 对应的是 `:`

解决方案:

str_url = "https://www.xxx.com?xxx%40yyy%3azzz"
proxy_url = "http://localhost:8080"

async with session.get(URL(str_url), proxy=proxy_url) as resp:
    print(await resp.text())

async with session.get(URL(str_url, encoded=True), proxy=proxy_url) as resp:
    print(await resp.text())

 

 
 

posted on 2021-06-10 15:33  ExplorerMan  阅读(535)  评论(0编辑  收藏  举报

导航