文本预处理.md pytorch

【文件属性】：
文件名称：文本预处理.md pytorch
文件大小：4KB
文件格式：MD
更新时间：2023-03-09 03:05:26
文本预处理 文本预处理 文本是一类序列数据，一篇文章可以看作是字符或单词的序列，本节将介绍文本数据的常见预处理步骤，预处理通常包括四个步骤： 读入文本 分词 建立字典，将每个词映射到一个唯一的索引（index） 将文本从词的序列转换为索引的序列，方便输入模型