用Python实现gmail邮箱服务，实现两个邮箱之间的绑定（中）
这篇博客，主要讲解用Python实现邮箱服务的几个需要学习的模块：E-mail Compotion and Decoding（邮件生成和解析）、SMTP、POP、IMAP
如上篇博客所讲，我学习过程参考《Foundations of Python3 Network Programming. 2nd Edition》，代码部分借鉴了其中的例子，但绝对包含自己的东西，特此声明。
如果已经了解了这些知识，请看：用Python实现gmail邮箱服务，实现两个邮箱之间的绑定（下）
E-mail Composition and Decoding
一、邮件涉及协议及本文说明
1. 协议
- SMTP(Simple Mail Transfer Protocal) 简单邮件传输协议，用于发送邮件。
- MIME(Mutipurpose Internet Mail Extensions) 多用途互联网邮件扩展，可发送附件。但由于，程序不许要这个功能，因此我们有学习，也就不会出现在本文中。
- POP(Post Office Protocal) 邮局协议，一般用POP3。可以用以较为简单的方式接收邮件（从邮件服务器上下载邮件到主机上）。
- IMAP(Internet Mail Access Protocal) 也用于接收邮件，功能较POP3更为强大些。
2. 在下面中会更详细的介绍这些协议，以及在Python中的使用方式。
二、邮件格式粗糙解释。
Email在组织的时候遵循header和body的映射模式。而header是固定一些可选的如 From, To, Subject, Date time, Receiver, Message-ID, Content, Attachment。它们的组织形式如：
- From: ....（显示发送者邮箱）
- To: ... （显示目的地邮箱）
- Subject: ... （显示主题）
- Date: ... （显示发送时间还是到达时间？）
- Content: ... （邮件主体内容）
- Attachment: ... （附件）
对于我来说，我只需要From, To, Subject, Content。
三、撰写“极简单”邮件
1. 下面以一个例子说明怎样生成一封邮件。
from email.message import Message # 一个email一般封装在Message类中，所以需要在email.message中引入Message类。 # 这是邮件主体内容 text = """ Hello, This is a test message from vicczx. --viczzx--""" msg = Message() # 构造一个Message实例 msg['To'] = "toUserName@example.com" #接收者邮箱 msg['From'] = "myUserName@example.com" #自己的邮箱 msg['Subject'] = 'Test Message' #邮件主题 msg.set_payload(text) #将上面的邮件内容通过set_payload()函数封装进msg # 通过上面也可一看到， 邮件格式就是通过映射的方式进行组织的。需要注意的是:'To','From'等区分大小写，否则接收者无法解析 print(msg.as_string()) # 查看邮件内容
2. 添加Date和Message-ID header
绝大多数邮件有个Date header，这个可以通过email.utils库进行生成；
你也可以生成一个Message-ID header，就可以区别世界上所有其他的邮件了。这个也是通过email.utils模块的函数进行生成。
对于我来说，因为我不打算做一个功能强大的邮件客户端，因此，这些都是可有可无的。不过加上这些内容后，也算比较完整了。如下代码：
from email.utils from email.message import Message # 一个email一般封装在Message类中，所以需要在email.message中引入Message类。 # 这是邮件主体内容 text = """ Hello, This is a test message from vicczx. --viczzx--""" msg = Message() # 构造一个Message实例 msg['To'] = "toUserName@example.com" #接收者邮箱 msg['From'] = "myUserName@example.com" #自己的邮箱 msg['Subject'] = 'Test Message' #邮件主题 msg['Date'] = email.utils.formatdate(localtime=1) #函数详细说明请查看官方Python API Reference msg['Message-ID'] = email.utils.make_msgid() msg.set_payload(text) #将上面的邮件内容通过set_payload()函数封装进msg # 通过上面也可一看到， 邮件格式就是通过映射的方式进行组织的。需要注意的是:'To','From'等区分大小写，否则接收者无法解析 print(msg.as_string()) # 查看邮件内容
四、解析邮件（Parsing Messages）
知道了怎样生成邮件的，其实解析邮件就能够大致了解了。
# 已知msg 为下载下来的Message()实例邮件。 print("This message is from : ", msg['From'] ) print("This message is to : ", msg['To']) print("Subject: ", msg['Subject']) # 主题 print("Content: ", msg.get_payload()) # 得到主体内容
但是在实际上，可能没有这么简单。因为需要使用到中文，邮件解析还要考虑这一点；其他问题在这里不再这里过多说明，我会在后面详细的讲解程序开发过程中遇到的种种问题，所以，如果有需要请耐心继续看。
SMTP
一、简介
上面介绍了传统邮件的生成和解析，这些都是non-internet，也就是不需要网络就可一完成的。那么当生成了邮件，下一步就是发送了，本文就讲解利用SMTP协议发送邮件。
正如SMTP(Simple Mail Transfer Protocal)名字一样，只能发送简单邮件。上面讲解就是生成的简单邮件，完全可以通过SMTP协议来发送。
二、SMTP使用方法
Python是通过smtplib模块来实现SMTP的。关于本模块的详细说明，请参考这里。
1. 方法流程
生成message, 连接你的邮箱smtp服务器，登录自己的邮箱帐号， 发送邮件，退出
2. 连接邮箱smtp服务器
一般各大公司的smtp邮箱服务器网址都是形如：smtp.example.com，如gmail的为smtp.gmail.com
连接邮箱smtp服务器使用smtplib.SMTP()和smtplib.SMTP_SSL()方法。SMTP_SSL()方法使用了安全socket层。由于我不求甚解，所以更加详细的说明请见文档。我使用的gmail使用的是SMTP_SSL()，所以代码如下：
smtpServer = 'smtp.gmail.com' server = smtplib.SMTP_SSL(smtpServer)
由于可能出现异常错误，所以可以用try...except来处理下，如：
import smtplib, sys smtpServer = 'smtp.gmail.com' try: server = smtplib.SMTP_SSL(smtpServer) #返回SMTP类，所以server是SMTP类的实例 except ConnectionRefusedError: print('Server connecting failed') sys.exit(1)
3. 登录自己的邮箱帐号
利用SMTP.login(user, passwd)登录，如：
user = 'myUserName@gmail.com' passwd = '***' server.login(user, passwd)
在文档中说明了可能出现的异常，最长见的是smtp.SMTPAuthenticationError。另外，passwd也可一通过getpass.getpass()方法获得，这种方法与用户进行交互，用户输入密码，但是不显示，可以保护帐号安全。
import smtplib, sys, getpass smtpServer = 'smtp.gmail.com' user = 'myUserName@gmail.com' passwd = getpass.getpass() try: server = smtplib.SMTP_SSL(smtpServer) except ConnectionRefusedError: print('Server connecting failed') sys.exit(1) try: server.login(user, passwd) except smtp.SMTPAuthenticationError: print('Antentication failed, please check your username or password') sys.exit(1)
4. 发送邮件及退出
SMTP提供了两种方法来发送邮件，分别是：SMTP.send_message()， SMTP.sendmail()。简单来说，第一种发送的就是上一节讲的Message类实例，也就是标准的传统邮件；第二种发送的只是一段文字，也就是Content，不包括其他的。下面通过例子演示一下：
import smtplib, sys, getpass from email.message import Message smtpServer = 'smtp.gmail.com' user = 'myUserName@gmail.com' toAddr = 'toUser@example.com' passwd = getpass.getpass() text = """Hi, I'm viczzx, this is the message content, reply whenever you saw this. Thank you! --viczzx--""" msg = Message() msg.set_payload(text) # 其他header省略 try: server = smtplib.SMTP_SSL(smtpServer) except ConnectionRefusedError: print('Server connecting failed') sys.exit(1) try: server.login(user, passwd) except smtp.SMTPAuthenticationError: print('Antentication failed, please check your username or password') sys.exit(1) else: server.sendmail(user, toAddr, text) #只发送邮件正文 server.send_message(msg, user, toAddr) #发送Message实例 finally: server.quit() #这是必须的！！！
三、 其他的话
这个smtp小程序是非常简单的，只是把流程上呈现给大家，不过一般情况下这样就足够了。关于SMTP还有其他很多需要注意的地方，比如各种异常处理，由于我在学习的时候没有出现这些问题，因此就没有特别说明，如果需要，请查看相关文档。
POP
一、简介
POP(Post Office Protocal)最长用的POP版本是POP3，因此本文是以POP3为主。POP3非常简单，可以用来从邮件服务器上下载邮件，然后删除这些邮件。功能非常有限，后面讲解的IMAP完胜它，不过作为入门级的，还是有必要介绍一下，也对学习SMTP有帮助。
Python提供了poplib模块，它提供了使用POP的便利接口。
二、实例
由于pop3功能较IMAP非常有限，而且我最后的程序并没有使用pop3，所以，不详细讲解，下面通过一个例子来说明下较为常见的功能。
这个例子的功能为进入邮箱，查看所有的邮件。首先显示邮件的发件人、主题，查看邮箱主题内容。
1. 需要模块
import email, poplib, sys
2. 连接POP3服务器，登录个人邮箱账户
poplib提供POP3()方法和POP3_SSL()方法连接POP3服务器，区别和SMTP一样。gmail仍然使用POP3_SSL()方式，并返回class POP3实例
p = poplib.POP3_SSL('pop.gmail.com')
使用POP3.user(), POP3.pass_()方法来登录个人账户
try: p.user(user) p.pass_(passwd) except poplib.error_proto: #可能出现的异常 print('login failed')
3. 现在已经进入个人账户，下一步，利用POP3.list()函数查看邮箱内邮件信息。
关于list()函数的详细说明，请点击这里。
list()函数有三个返回值，分别是：response, listings, octets
- response 应答信息，我测试中出现的结果：
以b开头的字符串是Byte类型，我在实际测试的时候，返回的信息几乎都是Byte类型的。关于此类型及和普通字符串的转化会在后面举例说明。
- listings 是形如['message_id message_size',...]若干各message-id和message_size构成的list。后面就是通过message_id来检索邮件。我测试中出现的结果：
- octets 不是特别清楚啥意思。
response, listings, octets = p.list()
4. 最重要的就是listings数据
如上面解释的，listings是个list类型的数据，接下来我们取出listings中的message_id，也就是上面的 "1" "2" "3" "4" ...
for listing in listings: #每次需要一个listing number, size = listing.split() #由于number和size是以空格分隔，所以利用split()函数分开，split()默认以' '为分隔
现在我们就取出了我们需要的message_id，也就是number，注意number需要从Byte类型转化为字符串类型。
5. POP3.top()函数
利用此函数，取出邮件的headers，如下：
response, lines, octets = p.top(number , 0)
lines存储内容，下面先转化成Message类型（lines默认为标准字符串类型，仅供说明，以实际代码为准）
message = email.message_from_string('\n'.join(lines))
6. 已经生成Message类，可以利用头部信息来查看From, Subject等信息
for header in 'From', 'To', 'Subject', 'Date': if header in message: print(header + ':' , message[header])
注意，此时的message[header]可能不会输出我们想看到的内容，有可能出现格式错乱问题，比如中英文的转化，所以还需要特殊来处理。处理方式请继续往下看IMAP部分。
7. 取出邮件所有信息
上面的top()函数只取出header信息以及根据参数确定的n行内容，如果用户希望查看邮件所有内容，那利用POP3.retr()函数取出
response, lines, octets = p.retr(number)
还是将lines中的内容转换成Message类型：
message = email.message_from_string('\n'.join(lines))
8. 已经有了邮件所有信息，可以通过Message.get_payload()取出邮件正文了。
但是，get_payload()函数并不一定返回邮件正文。以下是官方说明：
Return the current payload, which will be a list of Message objects when is_multipart() is True, or a string when is_multipart() is False.
在实际测试中，返回的就是a list of Message objects，这个问题困扰我很长时间，最终还是解决了，通过以下方法：
maintype = message.get_content_maintype() if maintype == 'multipart': for part in message.get_payload(): if part.get_content_maintype() == 'text': mail_content = part.get_payload(decode=True).strip() elif maintype == 'text': mail_content = e.get_payload(decode=True).strip()
9. 此时，mail_content就是邮件正文了.
当然，如果是中文的话，这件事仍未完，还需要将它转化未'gbk'，利用如下方式：
mail_content = mail_content.decode('gbk')
10. 到现在，基本已经大功告成了，能够取出邮箱中所有的邮件，并查看邮件的header内容和邮件正文了^_^
三、完整代码：
#-*- encoding:utf-8 -*- #-*- encoding:gbk -*- import email, getpass, poplib, sys hostname = 'pop.gmail.com' user = 'myUserName@gmail.com' passwd = '***' p = poplib.POP3_SSL('pop.gmail.com') #与SMTP一样，登录gmail需要使用POP3_SSL() 方法，返回class POP3实例 try: # 使用POP3.user(), POP3.pass_()方法来登录个人账户 p.user(user) p.pass_(passwd) except poplib.error_proto: #可能出现的异常 print('login failed') else: response, listings, octets = p.list() for listing in listings: number, size = listing.split() #取出message-id number = bytes.decode(number) size = bytes.decode(size) print('Message', number, '( size is ', size, 'bytes)') print() response, lines, octets = p.top(number , 0) # 继续把Byte类型转化成普通字符串 for i in range(0, len(lines)): lines[i] = bytes.decode(lines[i]) #利用email库函数转化成Message类型邮件 message = email.message_from_string('\n'.join(lines)) # 输出From, To, Subject, Date头部及其信息 for header in 'From', 'To', 'Subject', 'Date': if header in message: print(header + ':' , message[header]) #与用户交互是否想查看邮件内容 print('Read this message [ny]') answer = input() if answer.lower().startswith('y'): response, lines, octets = p.retr(number) #检索message并返回 for i in range(0, len(lines)): lines[i] = bytes.decode(lines[i]) message = email.message_from_string('\n'.join(lines)) print('-' * 72) maintype = message.get_content_maintype() if maintype == 'multipart': for part in message.get_payload(): if part.get_content_maintype() == 'text': mail_content = part.get_payload(decode=True).strip() elif maintype == 'text': mail_content = e.get_payload(decode=True).strip() try: mail_content = mail_content.decode('gbk') except UnicodeDecodeError: print('Decoding to gbk error') sys.exit(1) print(mail_content) print() print('Delete this message? [ny]') answer = input() if answer.lower().startswith('y'): p.dele(number) print('Deleted') finally: print('log out') p.quit()
IMAP
一、简介
IMAP(Internet Message Access Protocol)，这个协议与POP一样，也是从邮件服务器上下载邮件到本机，不过IMAP比POP的功能要更加强大些，IMAP除支持POP所有功能外，还支持以下功能：
- 多个邮件文件夹（收件箱、发件箱、垃圾邮件...）
- IMAP服务器上进行标记如：Seen, Replied, Read, Deleted
- 在服务器端的文件夹之间拷贝和移动邮件
- ...
在IMAP的各版本中，最流行的是IMAP4。我们就使用IMAP4
由于，我需要搜索是否有未读邮件，也就是利用邮件服务器的Flag，所以IMAP是非常适合的，我的程序就利用的是IMAP。
在Python的标准库包含一个imaplib模块，可以利用这个模块。但是，这个模块的缺陷就是把大量解析的工作留给客户端程序员。
二、IMAPClient
IMAPClient是一个非常受欢迎的IMAPCLient包，这个模块不在标准Python库中。IMAPClient包是由一名叫做Menno Smits的Python程序员编写的。官网网址：http://imapclient.freshfoo.com/。可以在这里查看手册文档。这个包是基于标准库imaplib，不过要更强大。下面我们来介绍下怎样安装。
1. virtualenv
说实话，我本人对virtualenv的理解也不透彻，以字面上来理解为虚拟环境。可以把一些模块、包安装在特定的virtualenv里，一旦安装了virtualenv，你就创建任意多个自组织的虚拟python环境，在这个环境里，可以安装、下载包。
好吧，废话就不多说，直接说方法。
这里是virtualenv的详细说明，上面介绍了非常详细的安装方法，按照我自己的经验，可以简化为以下步骤：
$ [sudo] pip install virtualenv
$ [sudo] pip install https://github.com/pypa/virtualenv/tarball/develop
$ curl -O https://pypi.python.org/packages/source/v/virtualenv/ virtualenv-X.X.tar.gz
$ tar xvfz virtualenv-X.X.tar.gz
$ cd virtualenv-X.X
$ [sudo] python setup.py install
注意，上面下载的 virtualenv-X.X.tar.gz 中的X是型号，需要把它改成数字，详细版本类型可以参考：https://pypi.python.org/packages/source/v/virtualenv/
这样，virtualenv已经安装好。下面需要创建虚拟环境实例，步骤如下：
$ virtualenv --no-site-packages myenv
$ cd myenv
2. 安装IMAPClient
myenv 为自己定义的虚拟环境的名字。这样，我们已经在myenv里面，接下来就可一安装IMAPClient包了。步骤如下：
$ sudo pip install imapclient
$ python -c 'import imapclient'
此时，可以在python下使用imapclient模块，但是不能在python3下使用，在网上查了一些资料，尤其是看了上面的那个介绍virtualenv的网页，没找到有用的，但是，回头发现，这个imapclient是好使的了，不用进入gmapenv，直接使用即可，got it!
注意，上面用到了pip工具，如果没有的话一定要安装啊。
$ sudo apt-get install pip
三、开始正式学习IMAP
1. 因为可能会出现中文，因此在程序的最上面，必须加上如下代码：
#-*- encoding: utf-8 -*- #-*- encoding: gbk -*-
2. 所需模块
import getpass, email, sys from imapclient import IMAPClient
3. 连接服务、登录账户
这一步也没什么好讲的。代码如下：
# 通过以下方式连接smtp服务器，没有考虑异常情况，详细请参考官方文档 c = IMAPClient(hostname = 'imap.gmail.com', ssl= True) try: c.login(username, passwd) #登录个人帐号 except c.Error: print('Could not log in') sys.exit(1)
4. 进入收件箱，查看未读邮件
c.select_folder('INBOX', readonly = True) result = c.search('UNSEEN')
利用select_folder()函数进行文件夹，'INBOX'为收件箱，readonly = True 表明只读并不修改任何信息
利用search()函数选择想要的邮件，'UNSEEN'是邮件的flag，关于邮件的flag就不特别说明了，返回邮件的message-id
5. 有了未读邮件的ID(result)，下面利用fetch()函数将邮件取来（下载到本机）
msgdict = c.fetch(result, ['BODY.PEEK[]'] )
通过fetch()函数取得邮件内容，fetch()的详细介绍请见这里
fetch(self, message, data) 其中self参数可忽略，message为message_id， data 的作用是抓取message中的哪些部分。 官方文档中没有给出data的其他可选的参数，我一开始怎么都不找到，最终在stackoverflow中进行提问，一位大哥把这个文档介绍给我，在 6.4.5 FETCH Command 。这里面非常详细的介绍了各个函数的各种细节，当然也可以查到data其他可选的参数 6.4.5 表示的是原书的节。特别感谢这位哥们，人类的力量是无穷的啊！
我们只需要'BODY.PEEK[]'即可。
6. 已经把邮件取出，下面开始解析邮件
for message_id, message in msgdict.items(): e = email.message_from_string(message['BODY[]']) # 生成Message类型
7. 得到的 e 即为Message类型的邮件，先面开始将又将中解析出'From', 'Subject'
还记得上面在POP讲解中，我们遇到的不能显示中文的问题吗？在IMAP中仍会出现，下面就讲解解决办法
由于'From', 'Subject' header有可能有中文，必须把它转化为中文，在这个点上，耽误了我很长时间，最终在网上查到了一个方法：http://blog.csdn.net/bonnshore/article/details/8729984 虽然不是很明白，但是能把问题解决就是王道。代码如下：
subject = email.header.make_header(email.header.decode_header(e['SUBJECT'])) #必须保证包含subject mail_from = email.header.make_header(email.header.decode_header(e['From']))
8. 从Message e中解析出content正文
同上一篇的POP一样，根据get_payload()返回的不同类型，选择解析方法，代码如下：
maintype = e.get_content_maintype() if maintype == 'multipart': for part in e.get_payload(): if part.get_content_maintype() == 'text': mail_content = part.get_payload(decode=True).strip() elif maintype == 'text': mail_content = e.get_payload(decode=True).strip() # 此时，需要把content转化成中文，利用如下方法： try: mail_content = mail_content.decode('gbk') except UnicodeDecodeError: print('decode error') sys.exit(1)
9. 至此，我们已经完成了查看是否有未读邮件。如果有的话将未读邮件的'From', 'Subject', content解析出来。正如上面完成的 mail_from, subject, mail_content一样，现在可以完美的显示，即使有中文！
四、完整代码
#-*- encoding: utf-8 -*- #-*- encoding: gbk -*- # 因为可能会用到中文，所以必须有上面的这两句话 # 引入模块及IMAPClient类 import getpass, email, sys from imapclient import IMAPClient hostname = 'imap.gmail.com' #gmail的smtp服务器网址 username = 'myUserName@gmail.com' passwd = '***' c = IMAPClient(hostname, ssl= True) # 通过一下方式连接smtp服务器，没有考虑异常情况，详细请参考官方文档 try: c.login(username, passwd) #登录个人帐号 except c.Error: print('Could not log in') sys.exit(1) else: c.select_folder('INBOX', readonly = True)
# 利用select_folder()函数进行文件夹，'INBOX'为收件箱，readonly = True 表明只读并不修改任何信息
result = c.search('UNSEEN') msgdict = c.fetch(result, ['BODY.PEEK[]'] ) # 现在已经把邮件取出来了，下面开始解析邮件 for message_id, message in msgdict.items(): e = email.message_from_string(message['BODY[]']) # 生成Message类型
# 由于'From', 'Subject' header有可能有中文，必须把它转化为中文 subject = email.header.make_header(email.header.decode_header(e['SUBJECT'])) mail_from = email.header.make_header(email.header.decode_header(e['From']))
# 解析邮件正文 maintype = e.get_content_maintype() if maintype == 'multipart': for part in e.get_payload(): if part.get_content_maintype() == 'text': mail_content = part.get_payload(decode=True).strip() elif maintype == 'text': mail_content = e.get_payload(decode=True).strip()
# 此时，需要把content转化成中文，利用如下方法： try: mail_content = mail_content.decode('gbk') except UnicodeDecodeError: print('decode error') sys.exit(1) else: print('new message') print('From: ', mail_from) print('Subject: ', subject) getstr = input('if you wanna read it, input y: ') if getstr.startswith('y'): print('-'*10, 'mail content', '-'*10) print(mail_content.replace('<br>', '\n')) print('-'*10, 'mail content', '-'*10) finally:
c.logout()
五、总结
至此，我们已经学习了利用Python编写邮件服务的所有非常基本的内容，由于我的需求不是很高，目标不是做成一个功能强大的邮箱客户端，所以诸如：MIME、附件、图片等功能都没有学习，当然也没有介绍。
因为我们现在接收的邮件，大多数都是MIME格式的，不过上文的包含了点解析MIME格式邮件的代码。详细请参考《Foundations of Python3 Network Programming. 2nd Edition》Chaper E-mail Composition and Decoding。
