NLP模型学习方式

时间:2022-12-18 18:13:18

如何学习项目:

    NLP涉及30多种任务

    项目中涉及各种文件:因此

        1.看README.md(项目自述,说明该项目)

            (1)项目是干嘛的

            (2)大致用什么框架

            (3)所需的环境

            (4)数据集的介绍

            (5)个别文件的作用

        2.一定要找到哪个文件是项目入口

        3.看数据集

小知识:python中的debug

1.第一个是简单粗暴的下一步

2.第二个是进入系统底层方法的下一步

3.第三个是只能进入自己写的方法的下一步

4.左侧是同时打两个断点进行跳跃,跳过不想运行的部分。

注意:

debug 断点不要打在方法名、类名上

不要打在if,else判断上,因为有可能进不去。

小知识:

torch.save(model,)

saver = tf.train.Saver()

一、数据处理部分

1.读取数据并进行处理

2.构建词汇表并保存

3.把构建label_to_id,word_to_id

4.把文本变成下标,句子的填充(因为句子长短不一)

5.批量

6.随机打乱顺序

二、模型处理部分

1.获取模型参数,并定义占位符

2.embedding层/向量化层

3.定义模型结构层,得到预测值h

4.有了h之后,就可以和y构建损失函数

5.优化器

6.评估方法