自然语言处理文本标注工具——Doccano介绍

时间:2024-04-13 18:47:35

背景

最近公司有项目用到了自然语言处理技术,利用google 发布的BERT框架和Tensorflow,我们可以快速对模型进行训练与发布。但是在这个过程中,有一项看起来“技术含量稍低”但却非常重要的工作却不太容易实现,那就是文本标注了。

工具调研

为了解决文本标注的问题,我先在网上搜索了一轮,发现市场上有一些(不多)文本标注类产品,例如tagtog/LightTAG。但是这类产品一来需要收费,二来只能做名字分类、命名实体识别类任务的标注,因此并不太适合我们使用。
后来在github上找到doccano项目。
doccano是一款开源的自然语言标注工具,已内置了

  1. 文本分类
  2. 语句间关系
  3. 序列标注

等标注功能。

Doccano运行效果

自然语言处理文本标注工具——Doccano介绍

技术分析

前端:Vue.js+Nuxt.js+Vuetify.js
后端:Django
数据库:postgresql+sqlite

部署方式

本地部署 or Docker

扩展开发

后面有时间会再详细介绍我们针对三元组标的开发