模块: 一个py文件就是一个模块
模块分类:
1:内置模块,登录模块,时间模块,sys模块,os模块等等
2: 扩展模块,
3:自定义模块,自己写的py文件
python 开发效率之高:python的模块非常多, 第三方库
序列化模块
序列化:创造一个序列 ------>特殊处理(序列化)的字符串
序列化又分为3个
1,
json适用于不同语言之间的 ,, 它有四个功能: dumps,loads,dump,load, 四个功能成对存在
json: 数据通过网络发送给别人 写入文件也用到 json
被 json序列化的字符串:
①可以直接通过网络互相传输
②可以在各个语言中通用
import json
dic = {'alex':['','','阿达']}
print(str(dic)) # 基础数据类型 str 里面如果有引导就是单引号
ret = json.dumps(dic) #换成了双引号 json的str类型 特殊的
print(ret,type(ret))
import json
li = ['张三','王五','老土']
f = open('haha',encoding = 'utf-8',mode = 'w')
json.dump(li,f) ##将序列化的字符串存储到文件中, 写进文件后是 bytes类型
f.close
import json
li = ['老二','老三','老四']
f = open('xixi',encoding = 'utf-8')
ret = json.load(f) # 读出了内容
print(ret)
f.close()
import json (把多个序列化的字符串写入到同一个文件中)
dic = {"alex":('women','women','老女人')}
dic2 = {"alex1":('women','women','老女人')}
dic3 = {"alex2":('women','women','老女人')} with open('json_files',encoding = 'utf-8',mode = 'a') as f1:
s1 = json.dumps(dic,ensure_ascii = False) #后面的ensure 是需要加的
f1.write(s1+'\n')
s2 = json.dumps(dic2,ensure_ascii = False)
f1.write(s2+'\n')
s3 =json.dumps(dic3,ensure_ascii = False)
f1.write(s3 +'\n')
把上面的三个字典 加入到一个文件里面 with open('json_files',encoding = 'utf-8') as f2:
for line in f2:
dic = json.loads(line)
print(dic,type(dic)) ##把里面的内容打印出来, 并判断类型
import json
data = {'username':['李华','二愣子'],'sex':'male','age':}
json_dic2 = json.dumps(data,sort_keys=True,indent=,separators=(',',':'),ensure_ascii=False)
print(json_dic2)
得到结果: ##sort_keys 排序 indent:缩进 , separators以什么分开,键值对以什么分开
{
"age":16,
"sex":"male",
"username":[
"李华",
"二愣子"
]
}
Serialize obj to a JSON formatted str.(字符串表示的json对象)
Skipkeys：默认值是False，如果dict的keys内的数据不是python的基本类型(str,unicode,int,long,float,bool,None)，设置为False时，就会报TypeError的错误。此时设置成True，则会跳过这类key
ensure_ascii:，当它为True的时候，所有非ASCII码字符显示为\uXXXX序列，只需在dump时将ensure_ascii设置为False即可，此时存入json的中文即可正常显示。)
If check_circular is false, then the circular reference check for container types will be skipped and a circular reference will result in an OverflowError (or worse).
If allow_nan is false, then it will be a ValueError to serialize out of range float values (nan, inf, -inf) in strict compliance of the JSON specification, instead of using the JavaScript equivalents (NaN, Infinity, -Infinity).
indent：应该是一个非负的整型，如果是0就是顶格分行显示，如果为空就是一行最紧凑显示，否则会换行且按照indent的数值显示前面的空白分行显示，这样打印出来的json数据也叫pretty-printed json
separators：分隔符，实际上是(item_separator, dict_separator)的一个元组，默认的就是(‘,’,’:’)；这表示dictionary内keys之间用“,”隔开，而KEY和value之间用“：”隔开。
default(obj) is a function that should return a serializable version of obj or raise TypeError. The default simply raises TypeError.
sort_keys：将数据根据keys的值进行排序。
To use a custom JSONEncoder subclass (e.g. one that overrides the .default() method to serialize additional types), specify it with the cls kwarg; otherwise JSONEncoder is used.
2,
pickle 只用于python语言之间的, 可支持python所有的数据类型
缺点: 只能在Python语言中进行数据传输.
序列化模块,python语言网络交互使用的,他支持所有的python数据类型
也是有四个方法 和json一样:
dumps,loads, 用于网络传输,多个数据读写一个文件
import pickle
dic1 = {'name':'alex'}
s1 = pickle.dumps(dic1) 序列化过程
dic = pickle.loads(s1) 反序列化过程
dump,load 文件操作,(单个数据读写一个文件)
多个数据读写一个文件的应用:
代码 02 序列化模块.py中
循环,try....
import pickle
dic = {"alex": ('women','women','老女人')}
dic2 = {"alex1": ('women','women','老女人')}
dic3 = {"alex2": ('women','women','老女人')}
with open('pickle_files',mode = 'wb') as f1:
pickle.dump(dic,f1)
pickle.dump(dic2,f1)
pickle.dump(dic3,f1)
把上面字典加入到了文件夹里, 反正是看不懂的那种
with open('pickle_files',mode = 'rb') as f2:
while True:
try:
print(pickle.load(f2))
except EOFError:
break
把里面的东西打印出来, 本来是一个一个往外打,这样写, 假如里面有3个 打印第4个不会报错,break结束
3,
shelve 只是python 小工具(文件方面) 可以了解一下
import shelve
f = shelve.open('shelve_file')
f['key'] = {'int':, 'float':9.5, 'string':'Sample data'} #直接对文件句柄操作，就可以存入数据
f.close() import shelve
f1 = shelve.open('shelve_file')
existing = f1['key'] #取出数据的时候也只需要直接用key获取即可，但是如果key不存在会报错
f1.close()
print(existing)
hashlib模块
1,是一对算法的合集,它包含很多算法,(加密的)
2,hashlib的过程就是将字符串转化成数字的过程
3,hashlib 对相同的字符串转化成的数字相同
4,不同的电脑对相同的字符串进行加密,转换成的数字相同.
那么用在哪里呢????
密文(密码)
将密码用算法加密放置到数据库,每次取出验证
文件校验.
初识 hashlib
① md5 加密算法 常用算法,可以满足一般的常用需求
② sha 加密算法 级别高一些, 数字越大级别越高,加密的效率越低,越安全
md5:
s1 = ''
ret = hashlib.md5() # 创建一个md5对象
ret.update(s1.encode('utf-8')) #调用此update方法对参数进行加密 是byte类型
print(ret.hexdigest()) #得到加密后的结果, 定长(长度都一样) s2 = 'alex12fdsl,.afjsdl;fjksdal;fkdsal;fld;lsdkflas;dkfsda;3'
ret = hashlib.md5() #创建一个md5对象
ret.update(s2.encode('utf-8')) #调用此update方法对参数进行加密 byte类型
print(ret.hexdigest()) #得到加密后的结果 定长
无论字符串多长,返回都是定长的数字
同一字符串,md5值相同
但是呢,总有一些闲人去试你的密码, 也叫撞库,因为撞库,所以相对不安全,如何解决呢?
需要加盐
s3 = ''
ret = hashlib.md5('@$1*(^&@^2wqe'.encode('utf-8')) #创建一个md5对象,加盐
ret.update(s3.encode('utf-8')) #调用此update方法对参数进行加密 byte类型
print(ret.hexdigest()) #得到加密后的结果. 定长 如果黑客盗取到你的固定盐'@$1*(^&@^2wqe'内容
那就变成随机的盐: username = '爽妹'
password = '' ret = hashlib.md5(username[::1].encode('utf-8'))
ret.update(password.encode('utf-8'))
print(ret.hexdigest())
sha 系列
hashlib.shal() #shal与md5 级别相同 但是shal比md5 更安全一些
ret = hashlib.shal()
ret.update('123456'.encode('utf-8'))
print(ret.hexdigest()) #7c4a8d09ca3762af61e59520943dc26494f8941b
ret = hashlib.sha512() # 级别最高 效率低,安全性最大
ret.update('123456'.encode'utf-8')
print(ret.hexdigest()) ##得到的结果很长很长
文件校验
对于小文件可以,但是超大的文件内存受不了,
def func(file_name):
with open(file_name,mode = 'rb') as f1:
ret = hashlib.md5()
ret.update(f1.read())
return ret.hexdigest() print(func('hashlib_file'))
print(func('hashlib_file1')) s1 = 'I am 旭哥, 都别惹我.... 不服你试试'
ret = hashlib.md5()
ret.update(s1.encode('utf-8'))
print(ret.hexdigest()) # 15f614e4f03312320cc5cf83c8b2706f s1 = 'I am 旭哥, 都别惹我.... 不服你试试'
ret = hashlib.md5()
ret.update('I am'.encode('utf-8'))
ret.update(' 旭哥, '.encode('utf-8'))
ret.update('都别惹我....'.encode('utf-8'))
ret.update(' 不服你试试'.encode('utf-8'))
print(ret.hexdigest()) # 15f614e4f03312320cc5cf83c8b2706f def func(file_name):
with open(file_name,mode='rb') as f1:
ret = hashlib.md5()
while True:
content = f1.read(1024)
if content:
ret.update(content)
else:
break
return ret.hexdigest()
print(func('hashlib_file'))
print(func('hashlib_file1'))
hashlib 用在密文,或者文件的校验
md5: 普通的,加盐的,动态加盐的
sha: 普通的,加盐的,动态加盐的
文件的校验: 小文件,大文件
configparser 模块
帮助你操作(创建,增,删,改,查)一个配置文件
创建一个文件.
import configparser config = configparser.ConfigParser()#
config["DEFAULT"] = {'ServerAliveInterval': '',
'Compression': 'yes',
'CompressionLevel': '',
'ForwardX11':'yes'
}
config['bitbucket.org'] = {'User':'hg'} config['topsecret.server.com'] = {'Host Port':'','ForwardX11':'no'} # 顺序:创建一个对象,然后将文件读到内存中,在进行相应的操作.
#
# print(config.sections()) # ['bitbucket.org', 'topsecret.server.com']
# # #为什么没有 DEFAULT,它是特殊的,可以看做成一个全局的.
# print('111' in config) # False
# print('bitbucket.org' in config) # True
# 判断节名是否在配置文件中 上面的方法 # 对配置文件中的节对应的项 取值
# print(config['bitbucket.org']["user"]) # hg
#
# print(config['DEFAULT']['Compression']) #yes
#
# print(config['topsecret.server.com']['ForwardX11']) #no
#
#
# print(config['bitbucket.org']) #<Section: bitbucket.org> 可迭代对象
# print(config['bitbucket.org']['forwardx11']) #<Section: bitbucket.org> 可迭代对象
#
# for key in config['bitbucket.org']: # 注意,有default会默认default的键
# print(key)
# #
# print(config.options('bitbucket.org')) # 同for循环,找到'bitbucket.org'下所有键
#
# print(config.items('bitbucket.org')) #找到'bitbucket.org'下所有键值对
#
# print(config.get('bitbucket.org','compression')) # yes get方法Section下的key对应的value # 增删改
# import configparser
#
# config = configparser.ConfigParser()
# # config.read('new2.ini')
# # config.add_section('日天')
# config.remove_section('bitbucket.org')
# config.remove_option('topsecret.server.com',"forwardx11")
#
#
# config.set('topsecret.server.com','k1','11111')
# config.set('yuan','k2','22222')
#
# config.write(open('new2.ini', "w")
logging 模块
log 日志:
什么时候用到日志?
生活中:
1, 公司员工信息工号等等需要日志.
2, 淘宝,京东 你的消费信息,浏览记录等等都记录日志中,个性化推荐.
3, 头条个性化设置(爱好记录的日志中). 工作上:
运维人员,任何员工对服务器做过的任何操作,都会记录到日志中.
如果你要是从事运维开发的工作,各处都需要日志.
debug模式,需要依靠日志的.
定时收集信息,也要记录日志. logging 模块是辅助你记录日志的,不是自动记录日志的.
低配版,logging
高配版,logger 对象 低配版::
import logging
等级是一层一层升高的.
logging.basicConfig(level=logging.ERROR)
# level=logging.DEBUG 设置显示报错的级别.
logging.debug('debug message') # 调试信息
logging.info('info message') # 正常信息
logging.warning('warning message') # 警告信息:代码虽然不报错,但是警告你写的不规范,必须改.
logging.error('error message') # 错误信息.
logging.critical('critical message') # 严重错误信息. 用法实例:
try:
num = input('>>>请输入')
num = int(num)
except ValueError:
logging.error('出现了 %s' % ValueError) logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s %(filename)s (line:%(lineno)d) %(levelname)s %(message)s',
)
# level=logging.DEBUG 设置显示报错的级别.
logging.debug('debug message') # 调试信息
logging.info('info message') # 正常信息
logging.warning('warning message') # 警告信息:代码虽然不报错,但是警告你写的不规范,必须改.
logging.error('error message') # 错误信息.
logging.critical('critical message') # 严重错误信息.
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s %(filename)s (line:%(lineno)d) %(levelname)s %(message)s',
# datefmt='%a, %d %b %Y %H:%M:%S', # 设置时间格式
filename='low_logging.log',
# filemode='w',
)
logging.warning('warning 警告错误!!!!') # 警告信息:代码虽然不报错,但是警告你写的不规范,必须改.
logging.error('error message') # 错误信息.
logging.critical('critical message') # 严重错误信息.
level=logging.DEBUG 设置显示报错的级别.
try:
num = input('>>>请输入')
num = int(num)
except Exception as e:
logging.warning(e) # 警告信息:代码虽然不报错,但是警告你写的不规范,必须改.
logging.error(e) # 错误信息.
logging.critical(e) # 严重错误信息.
low logging 缺点:
# 1,写入文件 打印日志不能同时进行.
# 2 ,写入文件时文件编码方式为gbk..