【文件属性】：
文件名称：ancient_chinese_language_model:古汉语语言模型
文件大小：7KB
文件格式：ZIP
更新时间：2021-05-08 16:01:04
Python
古汉语语言模型
语料：
训练平台：Colab
基础框架：苏神的
框架安装：
pip install bert4keras==0.9.9
T5 Encoder版本
模型调用代码：
模型参数下载地址：
百度网盘： 提取码：15bv
模型预训练过程：
两阶段预训练：90%采用128句子长度，10%采用512句子长度
128阶段预训练参数：
seq_len = 128
batch_size = 1792
learning_rate = 0.00125
weight_decay_rate = 0.01
num_warmup_steps = 0
num_train_steps = 250000
mlm_loss曲线：
mlm_acc曲线：
512阶段预训练参数：
seq_len = 512
batch_size = 1792
learning_rate = 0.000125
weight_decay
【文件预览】：
ancient_chinese_language_model-master
----ancient_chinese_base.py(535B)
----images()
--------ancient_chinese_t5s_mlm_acc_step_1.png(130B)
--------ancient_chinese_t5s_mlm_loss_step_1.png(130B)
--------ancient_chinese_base_mlm_loss_step_0.png(130B)
--------ancient_chinese_t5s_mlm_acc_step_0.png(130B)
--------ancient_chinese_t5s_mlm_loss_step_0.png(130B)
--------ancient_chinese_base_mlm_acc_step_1.png(130B)
--------ancient_chinese_base_mlm_acc_step_0.png(130B)
--------ancient_chinese_base_mlm_loss_step_1.png(130B)
----requirements.txt(17B)
----README.md(3KB)
----ancient_chinese_t5s.py(9KB)
----.gitattributes(46B)