当GNN遇见NLP(五) Sentence-State LSTM for Text Representation，ACL
本文作者来自Singapore University of Technology and Design以及Department of Computer Science, University of Rochester。虽然本文中没有提到图神经网络的概念，但是从其实际操作上还是被归类为图的空间方法的一...
NLP系列：Word2Vec原始论文：Efficient Estimation of Word Representations in Vector Space
译者按：2013年，Google开源了一款用于词向量计算的工具——word2vec，引起了工业界和学术界的关注。首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量（word embedding），可以很好地度量词与词之间的相似性。随着深度...
通俗讲：自然语言处理（NLP）入门之信息抽取（Information Extraction）
1.什么是信息抽取（IE）信息抽取的英文就是Information Extraction，是把文本信息转换成结构化信息。整体步骤有三步：从文本中了解到特定的信息；然后从特定信息中获取到特定类别的对象；然后获取对象之间的关系。比方说，找到了一个人名A，找到了一个公司B，知道了A是B的员工。2.信息抽取...
深入理解词向量与句向量：NLP中的基础概念-2.3 句向量的应用
文本分类：在文本分类任务中，句向量可以作为模型的输入，用于对文本进行分类。 语义相似度计算：通过比较句向量之间的距离或相似度，可以判断句子之间的语义相似度。 信息检索：在搜索引擎等信息检索任务中，句向量可以用来衡量文档与查询之间的相关性。
Google最强模型BERT出炉，NLP还有哪些值得期待的发展？
AI技术年度盛会即将开启！11月8-9日，来自Google、Amazon、微软、Facebook、LinkedIn、阿里巴巴、百度、腾讯、美团、京东、小米、字节跳动、滴滴、商汤、旷视、思必驰、第四范式、云知声等企业的技术大咖将带来工业界AI应用的最新思维。如果你是某个AI技术领域的专业人才，或想寻求...
NLP算法工程师，基本技术能力要求有哪些？
NLP算法工程师能力要求此处选取了今日头条NLP算法工程师（语音识别，对话机器人，知识图谱方向）的招聘需求：年薪：72-111万，学历要求硕士及以上，需要有3年以上的工作经验。工作职责要求：【语音识别方向】参与业务相关的文本分类、命名实体识别，文本相似性，语言模型，情感分析，用户行为分析等相关NLP...
浅论语言与认知的关系 | NLP基础
《表象与本质》 最近对自然语言处理（Natural Language Processing， NLP），以及相关的认知科学有了一些新的模模糊糊的想法。这些想法产生的导火索是一本叫《表象与本质》的书——美国认知科学家侯世达2018年出版的新书：侯世达是个什么人呢？此人是印第安纳大学文理学院教授（下图左...
可应用于实际的14个NLP突破性研究成果（一）
语言理解对计算机来说是一个巨大的挑战。幼儿可以理解的微妙的细微差别仍然会使最强大的机器混淆。尽管深度学习等技术可以检测和复制复杂的语言模式，但机器学习模型仍然缺乏对我们的语言真正含义的基本概念性理解。但在2018年确实产生了许多具有里程碑意义的研究突破，这些突破推动了自然语言处理、理解和生成领域的发...
一起读论文 | 为什么BERT会在许多NLP任务中表现得很好？
导读：今天给大家解读一篇关于BERT模型研究的综述类论文《A Primer in BERTology: What we know about how BERT works》。基于Transformer的模型已经被证实可以有效地处理从序列标记到问题解答等不同类型的NLP任务，其中一种称为BERT的衍生...
人工智能之nlp
人工智能之nlp最近，在写自媒体文章，词穷的我写不出一篇优秀的原创文章，对语言的能力掌控只有ctrl加c。听别人说，人工智能可以自动写代码，那自动写文章也可以吧。写了2年博客的我还在坚持原创，但是某些操作需要专业的能力才可以做到，如关键字提取，读完一篇文章，能快速准确提取出本文的重点关键字吗？高中以...
Paddle上手实战——NLP经典cls任务“推特文本情感13分类”
Paddle上手实战——NLP经典cls任务“推特文本情感13分类” 实战背景介绍 数据地址：https://www.heywhale.com/home/activity/detail/611cbe90ba12a0001753d1e9/content Twitter推文具备多重特性，首要之处在于其与...
NLP 算法实战项目：使用 BERT 进行模型微调，进行文本情感分析
本篇我们使用公开的微博数据集(weibo_senti_100k)进行训练，此数据集已经进行标注，0: 负面情绪，1:正面情绪。数据集共计82718条(包含标题)。如下图： 下面我们使用bert-base-chinese预训练模型进行微调并进行测试。 技术交流，文末获取。 1. 导入必要的库 imp...
C++中抽象类和接口类的区别 - NLP新手
C++中抽象类和接口类的区别 （源自：http://blog.sina.com.cn/s/blog_49652a2d0100fk3n.html）Bill Venners：我在1991至1996这5年间，几乎一直仅仅使用C++编程。在那时，我认为多重继承唯一目的就是让我能够从多个基类中继...
自然语言处理(NLP)一些任务的总结
本节总结一下NLP中常见的任务，从一个全局观来看看NLP： NLP任务总结一：词法分析分词 (Word Segmentation/Tokenization...
关于NLP模型GPT-2的学习笔记（三）
前面主要介绍了GPT-2的基本原理和工作流程，下面进行一些训练模型和模型使用的实践首先从github下载GPT-2的程序和部分已经训练好的模型https://git...
自然语言处理（NLP）中NER如何从JSON数据中提取实体词的有效信息
专栏集锦，大佬们可以收藏以备不时之需： Spring Cloud 专栏：http://t.csdnimg.cn/WDmJ9 Python 专栏：http://t.csdnimg.cn/hMwPR Redis 专栏：http://t.csdnimg.cn/Qq0Xc TensorFlow 专栏：htt...
NLP_Seq2Seq编码器-解码器架构-Seq2Seq编码器-解码器架构小结
优势： 编码器将输入序列编码成一个固定大小的向量，解码器则解码该向量，从而生成输出序列。Seq2Seq架构可以处理不等长的输入和输出序列，因此在机器翻译、文本摘要等任务中表现出色。 劣势： 难以处理长序列(长输入序列可能导致信息损失)和复杂的上下文相关性。 学习的参考资料： （1）书籍 利用Pyt...
NLP-词向量、Word2vec
Word2vec Skip-gram算法的核心部分 我们做什么来计算一个词在中心词的上下文中出现的概率？ 似然函数 词已知，它的上下文单词的概率 相乘。 然后所有中心词的这个相乘数 再全部相乘，希望得到最大。 目标函数（代价函数，损失函数） 平均对数似然 + 转化为极小化问题 最小化...
NLP_GPT生成式自回归模型-小结
GPT 模型基于 Transformer架构，使用单向(从左到右)的Transformer 解码器进行预训练。预训练过程在大量无标签文本上进行，目标是通过给定的上下文预测下一个单词。 GPT模型中，采用了生成式自回归这种基于已有序列来预测下一个元素的方法。在训练阶段，模型通过大量文本数据学习生成下...
NLP国内研究方向机构导师
基础研究词法与句法分析：李正华、陈文亮、张民(苏州大学)语义分析：周国栋、李军辉(苏州大学)篇章分析：王厚峰、李素建(北京大学)语言认知模型：王少楠，宗成庆(中科院自动化研究所)语言表示与深度学习：黄萱菁、邱锡鹏(复旦大学)知识图谱与计算：李涓子、候磊(清华大学)应用研究文本分类与聚类：涂存超，刘知...