【NLP笔记】LLM应用之AI Agent & LangChain实战
文章目录 AI Agent概述LangChain实战构建prompt模版LLM调用调用HuggingFace开源大模型（在线）调用HuggingFace开源大模型（本地）调用文心一言ChainsSingle ChainSequential ChainSimple Sequential Cha...
NLP系列文章（四）——ELMO
接文章《NLP系列文章（一）——按照学习思路整理发展史》《NLP系列文章（二）——NLP领域任务分类、NNLM语言模型》《NLP系列文章（三）——word embedding》继续讲述NLP预训练的那些事 ELMO是“Embedding from Language Models”的简称，论文《Dee...
一文看懂 NLP 里的模型框架 Encoder-Decoder 和 Seq2Seq
Encoder-Decoder 和 Seq2SeqEncoder-Decoder 是 NLP 领域里的一种模型框架。它被广泛用于机器翻译、语音识别等任务。本文将详细介绍 Encoder-Decoder、Seq2Seq 以及他们的升级方案Attention。什么是 Encoder-Decoder ？E...
NLP学习04_词向量、句子向量、倒排表
词向量欧式距离和余弦相似度的方法是无法表达单词之间的语义相似度归为one-hot方式无法表达单词间的语义相似度one-hot的表达方式，如果词典大小是指数级的，那么一个句子的向量表示中，只有少数位置是1，其他位置都是0这就导致了向量稀疏归结one-hot缺点：1、无法表达语义相似度，2、稀疏问题词向...
【NLP学习笔记】One-hot encoding：独热编码
一、存在问题在机器学习算法中，特征并不总是连续值，常会遇到分类特征是离散的、无序的。例如：性别有男、女，城市有北京，上海，深圳等。离散特征的编码分为两种情况：离散特征的取值之间没有大小的意义，比如color：[red,blue]，那么就使用one-hot编码离散特征的取值有大小的意义，比如size:...
【知乎热议】没有顶会的CV/NLP方向的博士生毕业出路在哪里？
点击上方，选择星标或置顶，不定期资源大放送！阅读大概需要15分钟Follow小博主，每天更新前沿干货本文整理自知乎问答，仅用于学术分享。如有侵权，请联系后台作删文处理。编辑丨极市平台导读 随着求职竞争日渐激烈，不少算法岗标出了“顶会论文作者优先”的条件。那么，没有顶会的CV/NLP方向的博士生毕业出...
【NLP练习】Pytorch文本分类入门
Pytorch文本分类入门 ???? 本文为????365天深度学习训练营 中的学习记录博客???? 原作者：K同学啊 | 接辅导、项目定制 一、前期准备 1. 环境安装 确保已经安装torchtext与portalocker库 2. 加载数据 #加载数据import torchimport...
会议 ｜ 百度首席科学家吴华图灵大会演讲：NLP技术的演变与发展
“理解语言，拥有智能，改变世界，是每一个NLP人的使命。”5月18日，百度技术委员会主席、自然语言处理部首席科学家吴华博士在成都举办的ACM中国图灵大会（ACM TURC2019）上如是说。 作为中国计算机领域最有影响力的学术盛会之一，本届图灵大会以“注智世界，赋能未来”为主题，汇聚了包括曼纽尔·布...
自然语言处理（NLP）基础：文本预处理与词嵌入
目录 1.引言 2.文本预处理步骤 3.文本预处理工具 4.词嵌入模型介绍与应用 4.1.Word2Vec 4.2.GloVe 4.3.应用示例 5.总结 1.引言 自然语言处理（Natural Language Processing, NLP）是计算机科学与人工智能领域的重要分支，...
NLP笔记，英文文本预处理流程，文本的向量表示方法，LSTM
文章目录1 一般的英文文本预处理流程2 文本有哪些向量表示方法3 LSTM的结构1 一般的英文文本预处理流程1 数据收集2 去除数据中非文本的部分3 分词4 词干提取（stemming）和词型还原（lemma）5 转化为小写6 去除停止词7 删除数字与符号8 特征工程2 文本有哪些向量表示方法one...
当GNN遇见NLP(五) Sentence-State LSTM for Text Representation，ACL
本文作者来自Singapore University of Technology and Design以及Department of Computer Science, University of Rochester。虽然本文中没有提到图神经网络的概念，但是从其实际操作上还是被归类为图的空间方法的一...
NLP系列：Word2Vec原始论文：Efficient Estimation of Word Representations in Vector Space
译者按：2013年，Google开源了一款用于词向量计算的工具——word2vec，引起了工业界和学术界的关注。首先，word2vec可以在百万数量级的词典和上亿的数据集上进行高效地训练；其次，该工具得到的训练结果——词向量（word embedding），可以很好地度量词与词之间的相似性。随着深度...
通俗讲：自然语言处理（NLP）入门之信息抽取（Information Extraction）
1.什么是信息抽取（IE）信息抽取的英文就是Information Extraction，是把文本信息转换成结构化信息。整体步骤有三步：从文本中了解到特定的信息；然后从特定信息中获取到特定类别的对象；然后获取对象之间的关系。比方说，找到了一个人名A，找到了一个公司B，知道了A是B的员工。2.信息抽取...
深入理解词向量与句向量：NLP中的基础概念-2.3 句向量的应用
文本分类：在文本分类任务中，句向量可以作为模型的输入，用于对文本进行分类。 语义相似度计算：通过比较句向量之间的距离或相似度，可以判断句子之间的语义相似度。 信息检索：在搜索引擎等信息检索任务中，句向量可以用来衡量文档与查询之间的相关性。
Google最强模型BERT出炉，NLP还有哪些值得期待的发展？
AI技术年度盛会即将开启！11月8-9日，来自Google、Amazon、微软、Facebook、LinkedIn、阿里巴巴、百度、腾讯、美团、京东、小米、字节跳动、滴滴、商汤、旷视、思必驰、第四范式、云知声等企业的技术大咖将带来工业界AI应用的最新思维。如果你是某个AI技术领域的专业人才，或想寻求...
NLP算法工程师，基本技术能力要求有哪些？
NLP算法工程师能力要求此处选取了今日头条NLP算法工程师（语音识别，对话机器人，知识图谱方向）的招聘需求：年薪：72-111万，学历要求硕士及以上，需要有3年以上的工作经验。工作职责要求：【语音识别方向】参与业务相关的文本分类、命名实体识别，文本相似性，语言模型，情感分析，用户行为分析等相关NLP...
浅论语言与认知的关系 | NLP基础
《表象与本质》 最近对自然语言处理（Natural Language Processing， NLP），以及相关的认知科学有了一些新的模模糊糊的想法。这些想法产生的导火索是一本叫《表象与本质》的书——美国认知科学家侯世达2018年出版的新书：侯世达是个什么人呢？此人是印第安纳大学文理学院教授（下图左...
可应用于实际的14个NLP突破性研究成果（一）
语言理解对计算机来说是一个巨大的挑战。幼儿可以理解的微妙的细微差别仍然会使最强大的机器混淆。尽管深度学习等技术可以检测和复制复杂的语言模式，但机器学习模型仍然缺乏对我们的语言真正含义的基本概念性理解。但在2018年确实产生了许多具有里程碑意义的研究突破，这些突破推动了自然语言处理、理解和生成领域的发...
一起读论文 | 为什么BERT会在许多NLP任务中表现得很好？
导读：今天给大家解读一篇关于BERT模型研究的综述类论文《A Primer in BERTology: What we know about how BERT works》。基于Transformer的模型已经被证实可以有效地处理从序列标记到问题解答等不同类型的NLP任务，其中一种称为BERT的衍生...
人工智能之nlp
人工智能之nlp最近，在写自媒体文章，词穷的我写不出一篇优秀的原创文章，对语言的能力掌控只有ctrl加c。听别人说，人工智能可以自动写代码，那自动写文章也可以吧。写了2年博客的我还在坚持原创，但是某些操作需要专业的能力才可以做到，如关键字提取，读完一篇文章，能快速准确提取出本文的重点关键字吗？高中以...