关于NLP模型GPT-2的学习笔记（三）
前面主要介绍了GPT-2的基本原理和工作流程，下面进行一些训练模型和模型使用的实践首先从github下载GPT-2的程序和部分已经训练好的模型https://git...
自然语言处理（NLP）中NER如何从JSON数据中提取实体词的有效信息
专栏集锦，大佬们可以收藏以备不时之需： Spring Cloud 专栏：http://t.csdnimg.cn/WDmJ9 Python 专栏：http://t.csdnimg.cn/hMwPR Redis 专栏：http://t.csdnimg.cn/Qq0Xc TensorFlow 专栏：htt...
NLP_Seq2Seq编码器-解码器架构-Seq2Seq编码器-解码器架构小结
优势： 编码器将输入序列编码成一个固定大小的向量，解码器则解码该向量，从而生成输出序列。Seq2Seq架构可以处理不等长的输入和输出序列，因此在机器翻译、文本摘要等任务中表现出色。 劣势： 难以处理长序列(长输入序列可能导致信息损失)和复杂的上下文相关性。 学习的参考资料： （1）书籍 利用Pyt...
NLP-词向量、Word2vec
Word2vec Skip-gram算法的核心部分 我们做什么来计算一个词在中心词的上下文中出现的概率？ 似然函数 词已知，它的上下文单词的概率 相乘。 然后所有中心词的这个相乘数 再全部相乘，希望得到最大。 目标函数（代价函数，损失函数） 平均对数似然 + 转化为极小化问题 最小化...
NLP_GPT生成式自回归模型-小结
GPT 模型基于 Transformer架构，使用单向(从左到右)的Transformer 解码器进行预训练。预训练过程在大量无标签文本上进行，目标是通过给定的上下文预测下一个单词。 GPT模型中，采用了生成式自回归这种基于已有序列来预测下一个元素的方法。在训练阶段，模型通过大量文本数据学习生成下...
NLP国内研究方向机构导师
基础研究词法与句法分析：李正华、陈文亮、张民(苏州大学)语义分析：周国栋、李军辉(苏州大学)篇章分析：王厚峰、李素建(北京大学)语言认知模型：王少楠，宗成庆(中科院自动化研究所)语言表示与深度学习：黄萱菁、邱锡鹏(复旦大学)知识图谱与计算：李涓子、候磊(清华大学)应用研究文本分类与聚类：涂存超，刘知...
【NLP】揭秘马尔可夫模型神秘面纱系列文章（一）
摘要：最早接触马尔可夫模型的定义源于吴军先生《数学之美》一本。直到做自然语言处理时，才真正使用到隐马尔可夫模型HMM，并真正体会到此...
AI、CV、NLP顶会最全时间表
2020年AI、CV、NLP顶会最全时间表2019-09-01 14:04:19 weixin_38753768 阅读数 40 2020 AI、CV、NLP主流会议时间表，包含会议举办的时间、地点、投稿截止日期、官方网址/社交媒体地址，还有H指数（谷歌学术的期刊会议评判...
清华大学刘知远：如何写一篇合格的NLP论文
转载:如何写一篇合格的NLP论文前几天刚过完 ACL 2019 投稿季，给不少同学的论文提供了修改建议。其中很多论文，特别是初学者的论文的问题都很相似。一想到未来还...
2. AutoEncoder在NLP中的应用
1. AutoEncoder介绍2. Applications of AutoEncoder in NLP3. Recursive Autoencoder（递归自动...
Stanford NLP学习笔记：7. 情感分析（Sentiment）
1. 什么是情感分析（别名：观点提取，主题分析，情感挖掘。。。）应用：1）正面VS负面的影评（影片分类问题）2）产品/品牌评价: Google产品搜索3）twitter情感预测股票市场行情/消费者信心2. 目的利用机器提取人们对某人或事物的态度，从而发现潜在的问题用于改进或预测。这里我们所说的情感分...
NLP_神经概率语言模型(NPLM)-NPLM的实现
流程如下： 1.构建实验语料库 # 构建一个非常简单的数据集sentences = ["我 喜欢 玩具", "我 爱 爸爸", "我 讨厌 挨打"] # 将所有句子连接在一起，用空格分隔成多个词，再将重复的词去除，构建词汇表word_list = list(set(" ".join(sentenc...
NLP与深度学习（二）循环神经网络
1. 循环神经网络在介绍循环神经网络之前，我们先考虑一个大家阅读文章的场景。一般在阅读一个句子时，我们是一个字或是一个词的阅读，而在阅读的同时，我们能够记住前几个词或是前几句的内容。这样我们便能理解整个句子或是段落所表达的内容。循环神经网络便是采用的与此同样的原理。循环神经网络（RNN，Recurr...
nlp中如何数据增强
在自然语言处理（NLP）中，数据增强是一种常用的技术，旨在通过对原始文本进行一系列变换和扩充，生成更多多样化的训练数据。这有助于提高模型的泛化能力和鲁棒性。下面是一些常见的数据增强方法在NLP中的应用： 1. 同义词替换（Synonym Replacement）：将输入文本中的某些词替换为其同义词，...
NLP快速入门
NLP入门 课程链接：https://www.bilibili.com/video/BV17K4y1W7yb/?p=1&vd_source=3f265bbf5a1f54aab2155d9cc1250219 参考文档链接1：NLP知识点：Tokenizer分词器 - 掘金 (juejin.cn...
NLP（二十七）开放领域的三元组抽取的一次尝试
NLP（二十七）开放领域的三元组抽取的一次尝试 当我写下这篇文章的时候，我的内心是激动的，这是因为，自从去年6月份...
NLP（十九）首次使用BERT的可视化指导
本文（部分内容）翻译自文章A Visual Guide to Using BERT for the First Time，其作者为Jay Alammar...
自然语言处理(NLP)
苹果语音助手Siri的工作流程：听懂思考组织语言回答这其中每一步骤涉及的流程为：语音识别自然语言处理 - 语义分析逻辑分析 - 结合业务场景与上下文自然语言处理 -...
【自然语言处理】【深度学习】NLP中的N-gram理解
N-gram是自然语言处理（NLP）中的一个概念，它描述的是文本中连续的n个项（通常是单词或字符）。这个概念主要用于语言建模和文本分析中。 具体来说： Unigram (1-gram): 包含一个单词的序列，例如句子中的单个单词。 Bigram (2-gram): 包含两个相邻单词的序列。例如，...
带你熟悉NLP预训练模型：BERT
将三种信息分别输入Embedding层如果出现输入是句子对的情况呢？BERT ArchitectureBERT由Encoder Layer堆叠而成，Encoder Layer的组成与Transformer的Encoder Layer一致：自注意力层 + 前馈神经网络，中间通过residual con...