python操作MongoDB、MySQL、Postgres、Sqlite、redis实例

总结：除了MongoDB、redis，其他三个数据库用python来操作其实是差不多的。所有例子都很简单，实际生产环境中的数据库操作远比这复杂得多，命令也比我例子中的多得多，我这里高级一点的用法就是批量插入了。所以大型团队中都需要有一个对sql非常熟悉的人（DBA？我觉得应该不算吧，DBA可能对于大型数据公司是有必要的，对于普通产品或者团队来说，需要一个熟悉数据库的人就够了），因为每个sql其实都有很多高级技巧的，这个就不在本文范围内了。

测试人员py操作数据库有几个目的：模拟环境、接口测试结果校验。

这几个重点是在学习过程中需要关注的：

1、了解python对应的数据库操作库的基础知识，比如如何参数化、如何执行sql命令之类。

2、了解各个数据库的操作语句，其实不同数据库都是有所不同的。

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

140

141

142

143

144

145

146

147

148

149

150

151

152

153

154

155

156

157

158

159

160

161

162

163

164

165

166

167

168

169

170

171

172

173

174

175

176

177

178

179

180

181

182

183

184

185

186

187

188

189

190

191

192

193

194

195

196

197

198

199

200

201

202

203

204

205

206

207

208

209

210

211

212

213

214

215

216

217

218

219

220

221

222

223

224

225

226

227

228

229

230

231

232

233

234

235

236

237

238

239

240

241

242

243

244

245

def mangodbtest():
    #创建连接,连接数据库
    connection=pymongo.Connection('172.22.31.99',27017)
    mongodb  = connection.testdb#建库
    test = mongodb.test#建表
    #---------INSERT 
    new_post = {"AccountID":22,"UserName":"libing",'date':datetime.datetime.now()}#定义成字典
    test.insert(new_post)#insert是写入
    new_posts = [{"AccountID":55,"UserName":"liuw",'date':datetime.datetime.now()},{"AccountID":66,"UserName":"urling",'date':datetime.datetime.now()}]#定义多条数据
    test.insert(new_posts)
    u1 = dict(AccountID=33,UserName="libing1",date=datetime.datetime.now())#转换成字典
    test.insert(u1)    
    u2 = dict(AccountID=44,UserName="libing3",date=datetime.datetime.now())
    test.save(u2)#save也是写入，性能稍差
    # u3 = dict((AccountID=77,UserName="libing1",date=datetime.datetime.now()),(AccountID=88,UserName="libing1",date=datetime.datetime.now()))      
    #---------DELETE 
    test.remove({"AccountID":22,"UserName":"libing"})
    #---------SELECT 
    for u in test.find({"AccountID":{"$lt":50}}): #AccountID < 50 的内容
        print u
    for u in test.find({"AccountID":33}): #AccountID =33 的内容
        print u
    for u in test.find():#所有内容
        print u
    #---------UPDATE 
    test.update({"UserName":"libing1"},{"$set":{'AccountID':random.randint(100,200)}})
    for u in test.find({"UserName":"libing1"}): #AccountID =33 的内容
        print u
 
    test.update({}, {'$set' :{'AccountID':random.randint(100,200)}}, upsert=False, multi=True)#同时更新多条数据 
    for u in test.find():
        print u    
    #---------批量增
    u3 = []
    u3.append( {"AccountID":77,"UserName":"libing1",'date':datetime.datetime.now()})
    u3.append( {"AccountID":88,"UserName":"libing1",'date':datetime.datetime.now()})
    u3.append( {"AccountID":99,"UserName":"libing1",'date':datetime.datetime.now()})
    test.insert(u3) 
    for u in test.find({"UserName":"libing1"}): #AccountID =33 的内容
        print u
    #---------删表
    test.drop()
    #---------关闭连接      
 
def mysqltest():
    #---------连接
    mysql = MySQLdb.connect(host='172.22.31.85', user='root',passwd='admin888',db='test')
    mysqlcur = mysql.cursor()
    #---------删表
    mysqlcur.execute('''drop TABLE ntf''')
    mysql.commit()
    #---------建表
    mysqlcur.execute('''CREATE TABLE ntf
       (md5           char(32) PRIMARY KEY     NOT NULL,
       le             TEXT    NOT NULL,
       nid            INT     NOT NULL,
       ADDRESS        varchar(50),
       SALARY         REAL);''')
    mysql.commit()
    #---------INSERT 
    mysqlcur.execute('''insert into ntf (md5,le,nid) values ('aa','aa','1')''')
    mysqlcur.execute('''insert into ntf (md5,le,nid) values ('bb','bb','1')''')
    mysqlcur.execute('''insert into ntf (md5,le,nid) values ('bb2','bb','2')''')
    mysql.commit()
    #---------DELETE 
    mysqlcur.execute('''delete from ntf where md5='aa';''')
    mysql.commit()
    #---------SELECT  
    sql=mysqlcur.execute('''SELECT * from ntf where le='bb' ''')
    one = mysqlcur.fetchone()
    print one
    all = mysqlcur.fetchall()
    print all
    #---------UPDATE 
    mysqlcur.execute('''update ntf set md5='cc' where md5='bb' ''')
    mysql.commit()
    #---------批量增 
    count = 0
    strSql = ""
    head = '''insert into ntf(md5,le,nid) values '''
    strSql = head
    for i in range(2887122945,2887188479,1):        
        #如果满足1000条数据则执行sql
        if  (count != 0) and (count% 100 == 0):
            print count
            strSql = strSql.rstrip(',')
            mysqlcur.execute(strSql)
            mysql.commit()
            # print 'cost %s ' %(time.time() - begin)
            #还原sql语句前部分
            strSql = head            
        #不满足1000条数据，把后部的value数据接驳在最后
        md5 = 'test' + hashlib.md5(str(i)).hexdigest()[0:6]
        le = hashlib.md5(str(i)).hexdigest()[0:6]
        nid = random.choice((2,3,4,5,6))
        strSql += '''('%s','%s',%s),'''% (md5,le,nid)
        count += 1           
        #如果超过1000条数据就不执行了
        if count > 1000:
            break
    #---------关闭连接       
    mysqlcur.close()
    mysql.close() 
     
def postgrestest():
    #---------连接
    pg = psycopg2.connect(host='172.22.31.40',port='5360', user='postgres',password='postgres',dbname='skylar')
    pgcur = pg.cursor()
    #---------删表
    pgcur.execute('''DROP TABLE ntf''')
    pg.commit()
    #---------建表
    pgcur.execute('''CREATE TABLE ntf
       (md5           char(32) PRIMARY KEY     NOT NULL,
       le             TEXT    NOT NULL,
       nid            INT     NOT NULL,
       ADDRESS        varchar(50),
       SALARY         REAL);''')
    pg.commit()
    #---------INSERT 
    pgcur.execute('''insert into ntf (md5,le,nid) values ('aa','aa','1')''')
    pgcur.execute('''insert into ntf (md5,le,nid) values ('bb','bb','1')''')
    pgcur.execute('''insert into ntf (md5,le,nid) values ('bb2','bb','2')''')
    pg.commit()
    #---------DELETE 
    pgcur.execute('''delete from ntf where md5='aa';''')
    pg.commit()
    #---------SELECT  
    sql=pgcur.execute('''SELECT * from ntf where le='bb' ''')
    one = pgcur.fetchone()
    print one
    all = pgcur.fetchall()
    print all
    #---------UPDATE 
    pgcur.execute('''update ntf set md5='cc' where md5='bb' ''')
    pg.commit()
    #---------批量增   
    count = 0
    strSql = ""
    head = '''insert into ntf(md5,le,nid) values '''
    strSql = head
    for i in range(2887122945,2887188479,1):        
        #如果满足1000条数据则执行sql
        if  (count != 0) and (count% 100 == 0):
            print count
            strSql = strSql.rstrip(',')
            pgcur.execute(strSql)
            pg.commit()
            # print 'cost %s ' %(time.time() - begin)
            #还原sql语句前部分
            strSql = head            
        #不满足1000条数据，把后部的value数据接驳在最后
        md5 = 'test' + hashlib.md5(str(i)).hexdigest()[0:6]
        le = hashlib.md5(str(i)).hexdigest()[0:6]
        nid = random.choice((2,3,4,5,6))
        strSql += '''('%s','%s',%s),'''% (md5,le,nid)
        count += 1           
        #如果超过1000条数据就不执行了
        if count > 1000:
            break
    #---------关闭连接       
    pgcur.close()
    pg.close()  
     
def sqlitetest():
    #---------连接
    sqlite = sqlite3.connect(os.path.dirname(os.path.abspath(sys.argv[0]))+r"\sqlite.db") 
    sqlitecursor = sqlite.cursor()
    #---------删表
    sqlitecursor.execute('''DROP TABLE ntf''')#用三引号而不是双引号或者单引号，原因是sql语句中可能会出现双引号或者单引号，为了避免混淆，建议用三引号
    sqlitecursor.execute('''VACUUM''')
    sqlite.commit()
    #---------建表
    sqlite.execute('''CREATE TABLE ntf
       (md5           char(32) PRIMARY KEY     NOT NULL,
       le             TEXT    NOT NULL,
       nid            INT     NOT NULL,
       ADDRESS        varchar(50),
       SALARY         REAL);''')
    sqlitecursor.execute('''VACUUM''')
    sqlite.commit()
    #---------INSERT 
    sqlitecursor.execute('''insert into ntf (md5,le,nid) values ('aa','aa','1')''')
    sqlitecursor.execute('''insert into ntf (md5,le,nid) values ('bb','bb','1')''')
    sqlitecursor.execute('''insert into ntf (md5,le,nid) values ('bb2','bb','2')''')
    ##压缩数据库
    sqlitecursor.execute("VACUUM")
    sqlite.commit()
    #---------DELETE 
    sqlitecursor.execute('''delete from ntf where md5='aa';''')#单引号最后记得加个空格或者分号，防止和三引号混淆
    sqlitecursor.execute('''VACUUM''')
    sqlite.commit()
    #---------SELECT  
    sql=sqlitecursor.execute('''SELECT * from ntf where le='bb' ''')
    one = sqlitecursor.fetchone()
    print one
    all = sqlitecursor.fetchall()#该例程获取查询结果集中所有（如果用过fetchone，则返回剩余）的行，返回一个列表。当没有可用的行时，则返回一个空的列表。
    print all
    #---------UPDATE 
    sqlitecursor.execute('''update ntf set md5='cc' where md5='bb' ''')
    sqlitecursor.execute('''VACUUM''')
    sqlite.commit()
    sqlitecursor.close()
    sqlite.close()    
    #---------批量增，把上面的sqlite.commit()、sqlite.close()去掉保留最后一份，也可以看成是批量操作 <br> 
def redistest():
    #---------连接
    r=redis.StrictRedis(host='172.22.31.40',port=6379,db=15)  
    #--------清空表
    r.flushdb()    
    #---------INSERT  
    #操作string类型key    
    r.set('teststring', '111')#set key values
    r.setnx('teststring', '222')#增加时如果 key 已经存在,返回 0
    r.setex('teststring1', '100', '200')#增加时设置ttl，单位是秒（有效期）#set key ttl values 等效于    r.set('teststring1', '200')    r.expire('teststring1','300')    
    #操作hashes 类型key
    r.hset('testhash', 'email', 'xxx@gmail.com')
    r.hset('testhash', 'phone', '123456')
    r.hset('testhash', 'address', 'xxxx')
    #同时设置多条内容
    r.hmset("testhash1", {"email":"xxx@gmail.com", "phone":"123456", "address":"xxxx"})    
    r.hsetnx ('testhash', 'email', 'yyy@gmail.com')#增加时如果 key 已经存在则失败,返回 0
    r.expire('testhash','500')#设置key过期时间  
    #操作list类型
    r.lpush('listtest', '111111')
    r.lpushx('listtest', '222222')#lpush在最前面添加元素,x则表示如果listtest存在才进行插入操作
    r.lpushx('notexitlist', '333333')
    r.lrange("listtest", 0, 3)
    r.rpush('listtest2', '111111')
    r.rpushx('listtest2', '222222')#rpush在后面添加元素    
    #---------DELETE 
    r.delete('teststring')    
    #---------UPDATE 
    r.set('teststring', 111)   
    r.set('teststring', 333)
    #---------SELECT      
    print r.mget('teststring')#返回stringkey内容
    print r.hkeys('testhash')#返回返回单条hashkey集合
    print r.hget('testhash',"email")#返回单条指定的value
    print r.hgetall("testhash")#返回所有hashkey内容，包括key、value
    print r.hmget("testhash1", ("email", "phone"))#返回指定的value    
    #配置redis
    print r.config_get("maxmemory")
    print r.config_get("timeout")
    # r.config_set("timeout",1)