python之模块导入和包
一、何为模块
1.一个模块就是一个包含了python定义和声明的文件，文件名就是模块名字加上.py的后缀。
2.模块目的和函数，对象等一样，是为了代码的复用性而存在的。即一个py程序写了很多功能，也可以被其他py程序调用。被调用后被作为模块，此时会产生一个pyc的文件即为这个模块的缓存文件，相当于编译了模块文件使该py模块被调用的速度变快。一个大的项目一个人肯定是不行的，所以模块也为程序员相互间的合作提供了便利。
二、模块妙用
1.import
只需要在py程序开头加上import 文件名（不能有.py后缀）。例如，模块的文件名是span.py，那么只需在自己的py程序加import span。
2. import可以在程序的任意位置调用，但一次调用后会驻留内存，下次再调用会直接调用内存中的模块（python的优化）。
3.个模块都是一个独立的名称空间，定义在这个模块中的函数，把这个模块的名称空间当做全局名称空间，这样我们在编写自己的模块时，就不用担心我们定义在自己模块中全局变量会在被导入时，与使用者的全局变量冲突。
print('from the spam.py') money=1000 def read1(): print('spam->read1->money',1000) def read2(): print('spam->read2 calling read') read1() def change(): global money money=0
#test.py import spam #只在第一次导入时才执行spam.py内代码,此处的显式效果是只打印一次'from the spam.py',当然其他的顶级代码也都被执行了,只不过没有显示效果. import spam import spam import spam ''' 执行结果： from the spam.py '''
#测试一:money与spam.money不冲突 #test.py import spam money=10 print(spam.money) ''' 执行结果： from the spam.py 1000 '''
#测试二：read1与spam.read1不冲突 #test.py import spam def read1(): print('========') spam.read1() ''' 执行结果: from the spam.py spam->read1->money 1000 '''
#测试三：执行spam.change()操作的全局变量money仍然是spam中的 #test.py import spam money=1 spam.change() print(money) ''' 执行结果： from the spam.py 1 '''
so,在首次导入模块后，解释器做了三件事：①为源文件(spam模块)创建新的名称空间，在spam中定义的函数和方法若是使用到了global时访问的就是这个名称空间。②在新创建的命名空间中执行模块中包含的代码③创建名字spam来引用该命名空间
4.模块可以起别名
if file_format == 'xml': import xmlreader as reader elif file_format == 'csv': import csvreader as reader data=reader.read_date(filename) #这也体现的程序的归一化思想
5.一行导入多个模块（不建议，为了增加可读性一般一行只加一个）
import sys,os,re
三、import高级使用(form ... import ...)
1. from 语句相当于import，也会创建新的名称空间，但是将spam中的名字直接导入到当前的名称空间中，在当前名称空间中，不需要使用“模块.”的方式，直接使用名字就可以了。
from spam import read1,read2
2.上述方法也可以使用as起别名
from spam import read1 as read
3.from spam import *
把spam中所有的不是以下划线(_)开头的名字都导入到当前位置，大部分情况下我们的python程序不应该使用这种导入方式，因为*你不知道你导入什么名字，很有可能会覆盖掉你之前已经定义的名字。而且可读性极其的差，在交互式环境中导入时没有问题。
from spam import * #将模块spam中所有的名字都导入到当前名称空间 print(money) print(read1) print(read2) print(change) ''' 执行结果: from the spam.py 1000 <function read1 at 0x1012e8158> <function read2 at 0x1012e81e0> <function change at 0x1012e8268> '''
可以在模块文件使用__all__=[]来控制*导入什么，通常用来发布新版本
__all__=['money','read1'] #在模块文件加入这个可以选择导入什么变量
4.考虑到性能的原因，每个模块只被导入一次,放入字典sys.module中，如果你改变了模块的内容，你必须重启程序，python不支持重新加载或卸载之前导入的模块，
有的同学可能会想到直接从sys.module中删除一个模块不就可以卸载了吗，注意了，你删了sys.module中的模块对象仍然可能被其他程序的组件所引用，因而不会被清楚。
特别的对于我们引用了这个模块中的一个类，用这个类产生了很多对象，因而这些对象都有关于这个模块的引用。
5.把模块当作脚本使用
使用"__name__"等于"__main__"
#fib.py def fib(n): # write Fibonacci series up to n a, b = 0, 1 while b < n: print(b, end=' ') a, b = b, a+b print() def fib2(n): # return Fibonacci series up to n result = [] a, b = 0, 1 while b < n: result.append(b) a, b = b, a+b return result if __name__ == "__main__": import sys fib(int(sys.argv[1])) #可以自己测试使用
6.模块搜索路径
python解释器在启动时会自动加载一些模块，可以使用sys.modules查看。
模块的查找顺序是：内存中已经加载的模块->内置模块->sys.path路径中包含的模块。
在初始化后，python程序可以修改sys.path,路径放到前面的优先于标准库被加载。
import sys sys.path.append('/a/b/c/d') sys.path.insert(0,'/x/y/z') #排在前的目录，优先被搜索
#首先制作归档文件：zip module.zip foo.py bar.py import sys sys.path.append('module.zip') import foo,bar #也可以使用zip中目录结构的具体位置 sys.path.append('module.zip/lib/python')
至于.egg文件是由setuptools创建的包，这是按照第三方python库和扩展时使用的一种常见格式，.egg文件实际上只是添加了额外元数据(如版本号，依赖项等)的.zip文件。
需要强调的一点是：只能从.zip文件中导入.py，.pyc等文件。使用C编写的共享库和扩展块无法直接从.zip文件中加载（此时setuptools等打包系统有时能提供一种规避方法），且从.zip中加载文件不会创建.pyc或者.pyo文件，因此一定要事先创建他们，来避免加载模块是性能下降。
7.小提示
①模块名字区分大小写
②可以使用-O或者-OO转换python命令来减少编译模块的大小
1 -O转换会帮你去掉assert语句 2 -OO转换会帮你去掉assert语句和__doc__文档字符串 3 由于一些程序可能依赖于assert语句或文档字符串，你应该在在确认需要的情况下使用这些选项。
③在速度上从.pyc文件中读指令来执行不会比从.py文件中读指令执行更快，只有在模块被加载时，.pyc文件才是更快的
④只有使用import语句是才将文件自动编译为.pyc文件，在命令行或标准输入中指定运行脚本则不会生成这类文件，因而我们可以使用compieall模块为一个目录中的所有模块创建.pyc文件
模块可以作为一个脚本（使用python -m compileall）编译Python源 python -m compileall /module_directory 递归着编译 如果使用python -O -m compileall /module_directory -l则只一层 命令行里使用compile()函数时，自动使用python -O -m compileall 详见：https://docs.python.org/3/library/compileall.html#module-compileall
8.标准模块
ython提供了一个标准模块库，一些模块被内置到解释器中，这些提供了不属于语言核心部分的操作的访问，但它们是内置的，无论是为了效率还是提供对操作系统原语的访问。这些模块集合是依赖于底层平台的配置项，如winreg模块只能用于windows系统。特别需要注意的是，sys模块内建在每一个python解释器。
9.dir
内建函数dir是用来查找模块中定义的名字，返回一个有序字符串列表
import spam
dir(spam)
如果没有参数,dir()列举出当前定义的名字
dir()不会列举出内建函数或者变量的名字，它们都被定义到了标准模块builtin中，可以列举出它们，
import builtins
dir(builtins)
四、包
一、概念
无论是import形式还是from...import形式，凡是在导入语句中（而不是在使用时）遇到带点的，都要第一时间提高警觉：这是关于包才有的导入语法。
包的本质就是一个包含__init__.py文件的目录。
注意：
1.关于包相关的导入语句也分为import和from ... import ...两种，但是无论哪种，无论在什么位置，在导入时都必须遵循一个原则：凡是在导入时带点的，点的左边都必须是一个包，否则非法。可以带有一连串的点，如item.subitem.subsubitem,但都必须遵循这个原则。
2.对于导入后，在使用时就没有这种限制了，点的左边可以是包,模块，函数，类(它们都可以用点的方式调用自己的属性)。
3.对比import item 和from item import name的应用场景：
如果我们想直接使用name那必须使用后者
二、from ... import ...
需要注意的是from后import导入的模块，必须是明确的一个不能带点，否则会有语法错误，如：from a import b.c是错误语法
三、__init__.py文件
不管是哪种方式，只要是第一次导入包或者是包的任何其他部分，都会依次执行包下的__init__.py文件(我们可以在每个包的文件内都打印一行内容来验证一下)，这个文件可以为空，但是也可以存放一些初始化包的代码。
四、from glance.api import *
此处是想从包api中导入所有，实际上该语句只会导入包api下__init__.py文件中定义的名字，我们可以在这个文件中定义__all___:
#在__init__.py中定义 x=10 def func(): print('from api.__init.py') __all__=['x','func','policy']
此时我们在于glance同级的文件中执行from glance.api import *就导入__all__中的内容（versions仍然不能导入）。
五、绝对导入和相对导入
们的最顶级包glance是写给别人用的，然后在glance包内部也会有彼此之间互相导入的需求，这时候就有绝对导入和相对导入两种方式：
绝对导入：以glance作为起始
相对导入：用.或者..的方式最为起始（只能在一个包中使用，不能用于不同目录内）
在glance/api/version.py #绝对导入 from glance.cmd import manage manage.main() #相对导入 from ..cmd import manage manage.main()
注意：在使用pycharm时，有的情况会为你多做一些事情，这是软件相关的东西，会影响你对模块导入的理解，因而在测试时，一定要回到命令行去执行，模拟我们生产环境，你总不能拿着pycharm去上线代码吧！！！（因为本人一直使用pycharm）
特别需要注意的是：可以用import导入内置或者第三方模块，但是要绝对避免使用import来导入自定义包的子模块，应该使用from... import ...的绝对或者相对导入,且包的相对导入只能用from的形式。
六、单独导入包
单独导入包名称时不会导入包中所有包含的所有子模块。
#在与glance同级的test.py中 import glance glance.cmd.manage.main() ''' 执行结果： AttributeError: module 'glance' has no attribute 'cmd' '''
解决方法：
#glance/__init__.py from . import cmd #glance/cmd/__init__.py from . import manage
执行：
#在于glance同级的test.py中 import glance glance.cmd.manage.main()
常用的模块
#traceback模块被用来跟踪异常返回信息 try: raise SyntaxError, "traceback test" except: traceback.print_exc() #用于打印完整的错误信息。
#subprocess 我们通过标准库中的subprocess包来fork一个子进程，并运行一个外部的程序。 import subprocess retcode = subprocess.call(["ls", "-l"]) #和shell中命令ls -a显示结果一样 print retcode """ shell默认为False，在Linux下，shell=False时, Popen调用os.execvp()执行args指定的程序；shell=True时，如果args是字符串，Popen直接调用系统的Shell来执行args指定的程序，如果args是一个序列，则args的第一项是定义程序命令字符串，其它项是调用系统Shell时的附加参数。 """ retcode = subprocess.call("ls -l",shell=True)
subprocess 待续
paramiko模块提供了ssh及sft进行远程登录服务器执行命令和上传下载文件的功能
# 建立一个sshclient对象 ssh = paramiko.SSHClient() # 允许将信任的主机自动加入到host_allow 列表，此方法必须放在connect方法的前面 ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy()) # 调用connect方法连接服务器 ssh.connect(hostname='192.168.2.129', port=22, username='super', password='super') # 执行命令 stdin, stdout, stderr = ssh.exec_command('df -hl') # 结果放到stdout中，如果有错误将放到stderr中 print(stdout.read().decode()) # 关闭连接 ssh.close()
''' 方法1是传统的连接服务器、执行命令、关闭的一个操作，有时候需要登录上服务器执行多个操作，比如执行命令、上传/下载文件，方法1则无法实现，可以通过如下方式来操作 ''' # 实例化一个transport对象 trans = paramiko.Transport(('192.168.2.129', 22)) # 建立连接 trans.connect(username='super', password='super') # 将sshclient的对象的transport指定为以上的trans ssh = paramiko.SSHClient() ssh._transport = trans # 执行命令，和传统方法一样 stdin, stdout, stderr = ssh.exec_command('df -hl') print(stdout.read().decode()) # 关闭连接 trans.close()
# 指定本地的RSA私钥文件,如果建立密钥对时设置的有密码，password为设定的密码，如无不用指定password参数 pkey = paramiko.RSAKey.from_private_key_file('/home/super/.ssh/id_rsa', password='12345') # 建立连接 ssh = paramiko.SSHClient() ssh.connect(hostname='192.168.2.129', port=22, username='super', pkey=pkey) # 执行命令 stdin, stdout, stderr = ssh.exec_command('df -hl') # 结果放到stdout中，如果有错误将放到stderr中 print(stdout.read().decode()) # 关闭连接 ssh.close()
# 指定本地的RSA私钥文件,如果建立密钥对时设置的有密码，password为设定的密码，如无不用指定password参数 pkey = paramiko.RSAKey.from_private_key_file('/home/super/.ssh/id_rsa', password='12345') # 建立连接 trans = paramiko.Transport(('192.168.2.129', 22)) trans.connect(username='super', pkey=pkey) # 将sshclient的对象的transport指定为以上的trans ssh = paramiko.SSHClient() ssh._transport = trans # 执行命令，和传统方法一样 stdin, stdout, stderr = ssh.exec_command('df -hl') print(stdout.read().decode()) # 关闭连接 trans.close()
传文件 SFTP
# 实例化一个trans对象# 实例化一个transport对象 trans = paramiko.Transport(('192.168.2.129', 22)) # 建立连接 trans.connect(username='super', password='super') # 实例化一个 sftp对象,指定连接的通道 sftp = paramiko.SFTPClient.from_transport(trans) # 发送文件 sftp.put(localpath='/tmp/11.txt', remotepath='/tmp/22.txt') # 下载文件 # sftp.get(remotepath, localpath) trans.close()
''' 以上操作都是基本的连接，如果我们想实现一个类似xshell工具的功能，登录以后可以输入命令回车后就返回结果： ''' import paramiko import os import select import sys # 建立一个socket trans = paramiko.Transport(('192.168.2.129', 22)) # 启动一个客户端 trans.start_client() # 如果使用rsa密钥登录的话 ''' default_key_file = os.path.join(os.environ['HOME'], '.ssh', 'id_rsa') prikey = paramiko.RSAKey.from_private_key_file(default_key_file) trans.auth_publickey(username='super', key=prikey) ''' # 如果使用用户名和密码登录 trans.auth_password(username='super', password='super') # 打开一个通道 channel = trans.open_session() # 获取终端 channel.get_pty() # 激活终端，这样就可以登录到终端了，就和我们用类似于xshell登录系统一样 channel.invoke_shell() # 下面就可以执行你所有的操作，用select实现 # 对输入终端sys.stdin和 通道进行监控, # 当用户在终端输入命令后，将命令交给channel通道，这个时候sys.stdin就发生变化，select就可以感知 # channel的发送命令、获取结果过程其实就是一个socket的发送和接受信息的过程 while True: readlist, writelist, errlist = select.select([channel, sys.stdin,], [], []) # 如果是用户输入命令了,sys.stdin发生变化 if sys.stdin in readlist: # 获取输入的内容 input_cmd = sys.stdin.read(1) # 将命令发送给服务器 channel.sendall(input_cmd) # 服务器返回了结果,channel通道接受到结果,发生变化 select感知到 if channel in readlist: # 获取结果 result = channel.recv(1024) # 断开连接后退出 if len(result) == 0: print("\r\n**** EOF **** \r\n") break # 输出到屏幕 sys.stdout.write(result.decode()) sys.stdout.flush() # 关闭通道 channel.close() # 关闭链接 trans.close()
import paramiko import os import select import sys import tty import termios ''' 实现一个xshell登录系统的效果，登录到系统就不断输入命令同时返回结果 支持自动补全，直接调用服务器终端 ''' # 建立一个socket trans = paramiko.Transport(('192.168.2.129', 22)) # 启动一个客户端 trans.start_client() # 如果使用rsa密钥登录的话 ''' default_key_file = os.path.join(os.environ['HOME'], '.ssh', 'id_rsa') prikey = paramiko.RSAKey.from_private_key_file(default_key_file) trans.auth_publickey(username='super', key=prikey) ''' # 如果使用用户名和密码登录 trans.auth_password(username='super', password='super') # 打开一个通道 channel = trans.open_session() # 获取终端 channel.get_pty() # 激活终端，这样就可以登录到终端了，就和我们用类似于xshell登录系统一样 channel.invoke_shell() # 获取原操作终端属性 oldtty = termios.tcgetattr(sys.stdin) try: # 将现在的操作终端属性设置为服务器上的原生终端属性,可以支持tab了 tty.setraw(sys.stdin) channel.settimeout(0) while True: readlist, writelist, errlist = select.select([channel, sys.stdin,], [], []) # 如果是用户输入命令了,sys.stdin发生变化 if sys.stdin in readlist: # 获取输入的内容，输入一个字符发送1个字符 input_cmd = sys.stdin.read(1) # 将命令发送给服务器 channel.sendall(input_cmd) # 服务器返回了结果,channel通道接受到结果,发生变化 select感知到 if channel in readlist: # 获取结果 result = channel.recv(1024) # 断开连接后退出 if len(result) == 0: print("\r\n**** EOF **** \r\n") break # 输出到屏幕 sys.stdout.write(result.decode()) sys.stdout.flush() finally: # 执行完后将现在的终端属性恢复为原操作终端属性 termios.tcsetattr(sys.stdin, termios.TCSADRAIN, oldtty) # 关闭通道 channel.close() # 关闭链接 trans.close()
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple nympy 使用清华源，5分更新一次。
