背景
最近公司有项目用到了自然语言处理技术,利用google 发布的BERT框架和Tensorflow,我们可以快速对模型进行训练与发布。但是在这个过程中,有一项看起来“技术含量稍低”但却非常重要的工作却不太容易实现,那就是文本标注了。
工具调研
为了解决文本标注的问题,我先在网上搜索了一轮,发现市场上有一些(不多)文本标注类产品,例如tagtog/LightTAG。但是这类产品一来需要收费,二来只能做名字分类、命名实体识别类任务的标注,因此并不太适合我们使用。
后来在github上找到doccano项目。
doccano是一款开源的自然语言标注工具,已内置了
- 文本分类
- 语句间关系
- 序列标注
等标注功能。
Doccano运行效果
技术分析
前端:Vue.js+Nuxt.js+Vuetify.js
后端:Django
数据库:postgresql+sqlite
部署方式
本地部署 or Docker
扩展开发
后面有时间会再详细介绍我们针对三元组标的开发