python操作MongoDB、MySQL、Postgres、Sqlite、redis实例

时间:2021-11-25 04:01:16

总结:除了MongoDB、redis,其他三个数据库用python来操作其实是差不多的。所有例子都很简单,实际生产环境中的数据库操作远比这复杂得多,命令也比我例子中的多得多,我这里高级一点的用法就是批量插入了。所以大型团队中都需要有一个对sql非常熟悉的人(DBA?我觉得应该不算吧,DBA可能对于大型数据公司是有必要的,对于普通产品或者团队来说,需要一个熟悉数据库的人就够了),因为每个sql其实都有很多高级技巧的,这个就不在本文范围内了。

测试人员py操作数据库有几个目的:模拟环境、接口测试结果校验。

这几个重点是在学习过程中需要关注的:

1、了解python对应的数据库操作库的基础知识,比如如何参数化、如何执行sql命令之类。

2、了解各个数据库的操作语句,其实不同数据库都是有所不同的。

def mangodbtest():
#创建连接,连接数据库
connection=pymongo.Connection('172.22.31.99',27017)
mongodb = connection.testdb#建库
test = mongodb.test#建表
#---------INSERT
new_post = {"AccountID":22,"UserName":"libing",'date':datetime.datetime.now()}#定义成字典
test.insert(new_post)#insert是写入
new_posts = [{"AccountID":55,"UserName":"liuw",'date':datetime.datetime.now()},{"AccountID":66,"UserName":"urling",'date':datetime.datetime.now()}]#定义多条数据
test.insert(new_posts)
u1 = dict(AccountID=33,UserName="libing1",date=datetime.datetime.now())#转换成字典
test.insert(u1)
u2 = dict(AccountID=44,UserName="libing3",date=datetime.datetime.now())
test.save(u2)#save也是写入,性能稍差
# u3 = dict((AccountID=77,UserName="libing1",date=datetime.datetime.now()),(AccountID=88,UserName="libing1",date=datetime.datetime.now()))
#---------DELETE
test.remove({"AccountID":22,"UserName":"libing"})
#---------SELECT
for u in test.find({"AccountID":{"$lt":50}}): #AccountID < 50 的内容
print u
for u in test.find({"AccountID":33}): #AccountID =33 的内容
print u
for u in test.find():#所有内容
print u
#---------UPDATE
test.update({"UserName":"libing1"},{"$set":{'AccountID':random.randint(100,200)}})
for u in test.find({"UserName":"libing1"}): #AccountID =33 的内容
print u test.update({}, {'$set' :{'AccountID':random.randint(100,200)}}, upsert=False, multi=True)#同时更新多条数据
for u in test.find():
print u
#---------批量增
u3 = []
u3.append( {"AccountID":77,"UserName":"libing1",'date':datetime.datetime.now()})
u3.append( {"AccountID":88,"UserName":"libing1",'date':datetime.datetime.now()})
u3.append( {"AccountID":99,"UserName":"libing1",'date':datetime.datetime.now()})
test.insert(u3)
for u in test.find({"UserName":"libing1"}): #AccountID =33 的内容
print u
#---------删表
test.drop()
#---------关闭连接 def mysqltest():
#---------连接
mysql = MySQLdb.connect(host='172.22.31.85', user='root',passwd='admin888',db='test')
mysqlcur = mysql.cursor()
#---------删表
mysqlcur.execute('''drop TABLE ntf''')
mysql.commit()
#---------建表
mysqlcur.execute('''CREATE TABLE ntf
(md5 char(32) PRIMARY KEY NOT NULL,
le TEXT NOT NULL,
nid INT NOT NULL,
ADDRESS varchar(50),
SALARY REAL);''')
mysql.commit()
#---------INSERT
mysqlcur.execute('''insert into ntf (md5,le,nid) values ('aa','aa','1')''')
mysqlcur.execute('''insert into ntf (md5,le,nid) values ('bb','bb','1')''')
mysqlcur.execute('''insert into ntf (md5,le,nid) values ('bb2','bb','2')''')
mysql.commit()
#---------DELETE
mysqlcur.execute('''delete from ntf where md5='aa';''')
mysql.commit()
#---------SELECT
sql=mysqlcur.execute('''SELECT * from ntf where le='bb' ''')
one = mysqlcur.fetchone()
print one
all = mysqlcur.fetchall()
print all
#---------UPDATE
mysqlcur.execute('''update ntf set md5='cc' where md5='bb' ''')
mysql.commit()
#---------批量增
count = 0
strSql = ""
head = '''insert into ntf(md5,le,nid) values '''
strSql = head
for i in range(2887122945,2887188479,1):
#如果满足1000条数据则执行sql
if (count != 0) and (count% 100 == 0):
print count
strSql = strSql.rstrip(',')
mysqlcur.execute(strSql)
mysql.commit()
# print 'cost %s ' %(time.time() - begin)
#还原sql语句前部分
strSql = head
#不满足1000条数据,把后部的value数据接驳在最后
md5 = 'test' + hashlib.md5(str(i)).hexdigest()[0:6]
le = hashlib.md5(str(i)).hexdigest()[0:6]
nid = random.choice((2,3,4,5,6))
strSql += '''('%s','%s',%s),'''% (md5,le,nid)
count += 1
#如果超过1000条数据就不执行了
if count > 1000:
break
#---------关闭连接
mysqlcur.close()
mysql.close() def postgrestest():
#---------连接
pg = psycopg2.connect(host='172.22.31.40',port='5360', user='postgres',password='postgres',dbname='skylar')
pgcur = pg.cursor()
#---------删表
pgcur.execute('''DROP TABLE ntf''')
pg.commit()
#---------建表
pgcur.execute('''CREATE TABLE ntf
(md5 char(32) PRIMARY KEY NOT NULL,
le TEXT NOT NULL,
nid INT NOT NULL,
ADDRESS varchar(50),
SALARY REAL);''')
pg.commit()
#---------INSERT
pgcur.execute('''insert into ntf (md5,le,nid) values ('aa','aa','1')''')
pgcur.execute('''insert into ntf (md5,le,nid) values ('bb','bb','1')''')
pgcur.execute('''insert into ntf (md5,le,nid) values ('bb2','bb','2')''')
pg.commit()
#---------DELETE
pgcur.execute('''delete from ntf where md5='aa';''')
pg.commit()
#---------SELECT
sql=pgcur.execute('''SELECT * from ntf where le='bb' ''')
one = pgcur.fetchone()
print one
all = pgcur.fetchall()
print all
#---------UPDATE
pgcur.execute('''update ntf set md5='cc' where md5='bb' ''')
pg.commit()
#---------批量增
count = 0
strSql = ""
head = '''insert into ntf(md5,le,nid) values '''
strSql = head
for i in range(2887122945,2887188479,1):
#如果满足1000条数据则执行sql
if (count != 0) and (count% 100 == 0):
print count
strSql = strSql.rstrip(',')
pgcur.execute(strSql)
pg.commit()
# print 'cost %s ' %(time.time() - begin)
#还原sql语句前部分
strSql = head
#不满足1000条数据,把后部的value数据接驳在最后
md5 = 'test' + hashlib.md5(str(i)).hexdigest()[0:6]
le = hashlib.md5(str(i)).hexdigest()[0:6]
nid = random.choice((2,3,4,5,6))
strSql += '''('%s','%s',%s),'''% (md5,le,nid)
count += 1
#如果超过1000条数据就不执行了
if count > 1000:
break
#---------关闭连接
pgcur.close()
pg.close() def sqlitetest():
#---------连接
sqlite = sqlite3.connect(os.path.dirname(os.path.abspath(sys.argv[0]))+r"\sqlite.db")
sqlitecursor = sqlite.cursor()
#---------删表
sqlitecursor.execute('''DROP TABLE ntf''')#用三引号而不是双引号或者单引号,原因是sql语句中可能会出现双引号或者单引号,为了避免混淆,建议用三引号
sqlitecursor.execute('''VACUUM''')
sqlite.commit()
#---------建表
sqlite.execute('''CREATE TABLE ntf
(md5 char(32) PRIMARY KEY NOT NULL,
le TEXT NOT NULL,
nid INT NOT NULL,
ADDRESS varchar(50),
SALARY REAL);''')
sqlitecursor.execute('''VACUUM''')
sqlite.commit()
#---------INSERT
sqlitecursor.execute('''insert into ntf (md5,le,nid) values ('aa','aa','1')''')
sqlitecursor.execute('''insert into ntf (md5,le,nid) values ('bb','bb','1')''')
sqlitecursor.execute('''insert into ntf (md5,le,nid) values ('bb2','bb','2')''')
##压缩数据库
sqlitecursor.execute("VACUUM")
sqlite.commit()
#---------DELETE
sqlitecursor.execute('''delete from ntf where md5='aa';''')#单引号最后记得加个空格或者分号,防止和三引号混淆
sqlitecursor.execute('''VACUUM''')
sqlite.commit()
#---------SELECT
sql=sqlitecursor.execute('''SELECT * from ntf where le='bb' ''')
one = sqlitecursor.fetchone()
print one
all = sqlitecursor.fetchall()#该例程获取查询结果集中所有(如果用过fetchone,则返回剩余)的行,返回一个列表。当没有可用的行时,则返回一个空的列表。
print all
#---------UPDATE
sqlitecursor.execute('''update ntf set md5='cc' where md5='bb' ''')
sqlitecursor.execute('''VACUUM''')
sqlite.commit()
sqlitecursor.close()
sqlite.close()
#---------批量增,把上面的sqlite.commit()、sqlite.close()去掉保留最后一份,也可以看成是批量操作

def redistest():
#---------连接
r=redis.StrictRedis(host='172.22.31.40',port=6379,db=15)
#--------清空表
r.flushdb()
#---------INSERT
#操作string类型key
r.set('teststring', '111')#set key values
r.setnx('teststring', '222')#增加时如果 key 已经存在,返回 0
r.setex('teststring1', '100', '200')#增加时设置ttl,单位是秒(有效期)#set key ttl values 等效于 r.set('teststring1', '200') r.expire('teststring1','300')
#操作hashes 类型key
r.hset('testhash', 'email', 'xxx@gmail.com')
r.hset('testhash', 'phone', '123456')
r.hset('testhash', 'address', 'xxxx')
#同时设置多条内容
r.hmset("testhash1", {"email":"xxx@gmail.com", "phone":"123456", "address":"xxxx"})
r.hsetnx ('testhash', 'email', 'yyy@gmail.com')#增加时如果 key 已经存在则失败,返回 0
r.expire('testhash','500')#设置key过期时间
#操作list类型
r.lpush('listtest', '111111')
r.lpushx('listtest', '222222')#lpush在最前面添加元素,x则表示如果listtest存在才进行插入操作
r.lpushx('notexitlist', '333333')
r.lrange("listtest", 0, 3)
r.rpush('listtest2', '111111')
r.rpushx('listtest2', '222222')#rpush在后面添加元素
#---------DELETE
r.delete('teststring')
#---------UPDATE
r.set('teststring', 111)
r.set('teststring', 333)
#---------SELECT
print r.mget('teststring')#返回stringkey内容
print r.hkeys('testhash')#返回返回单条hashkey集合
print r.hget('testhash',"email")#返回单条指定的value
print r.hgetall("testhash")#返回所有hashkey内容,包括key、value
print r.hmget("testhash1", ("email", "phone"))#返回指定的value
#配置redis
print r.config_get("maxmemory")
print r.config_get("timeout")
# r.config_set("timeout",1)