华为诺亚实验室中文对话语料库介绍

时间:2022-08-03 18:54:38

少有的中文对话语料库,

记录一下格式相关信息,

贴出样本以备快速参考,

从样本看显然已经分词。


以下内容主要来自 Readme  for conversation_data_v1.1


数据集有5个文件
    1. post.index       contains post_id with its contents

包含post_id及相关内容


首先是post_id,接着##作为分隔符,接着是内容


5个样本:

0##祝 各位 朋友 2012 年 万事如意 !
1##在 家 看 某 电视台 跨年 晚会 倒数 , 想起 2000 年 的 那 个 千禧 时刻 , 作为 大四 的 学生 , 并且 在 chinaren 做 兼职 的 工作 , 与 一 群 同学 兼 同事 到 ' 乐杰士 ' 餐厅 吃 夜宵 。 学生 的 懵懂 和 刚刚 开始 工作 的 憧憬 相 交织 , 加上 2000 这么 一 个 整数 , 这 是 一 生 的 记忆 , 一 生 的 烙印 。 十二 年 后 , 再 祝 新年 快乐 !
2##2012 新年 钟声 即将 敲响 之际 , 向 关心 华为 手机 终端 的 博友们 、 朋友们 致 新年 的 祝福 ! 感谢 一 年 来 您 的 关心 与 宝贵 意见 , 这 是 我们 不断 改进 的 强大 动力 ! 几 天 之后 1 月 9 日 美国 拉斯维加斯 CES 展 上 , 华为 将 发布 让 世界 震惊 的 旗舰 智能 手机 ! 至少 三 个 世界 No.1 ! 感谢 追求 卓越 的 研发 、 测试 与 供应链 兄弟 姐妹们 的 辛勤 努力 ! !
3##中国 科大 2012 年 校友 新年 贺卡 北美 镜像 已 发布 , 请 见 : 或 访问 能 帮 我 看看 速度 可以么 ? 如果 五 分钟 刷新 , 我们 就 在 你们 家 装 一 台 服务器 !
4##能 和 我 的 朋友 还 有 软院 的 学生 一 起 度 过 忙碌 和 丰富 的 2011 , 是 我 人生 的 礼物 ! 谢谢 大家 一路 以来 的 支持
5##谢谢 , 2012 年 零点 钟声 中 祝 新年 快乐 , 心想 事成 !



    2. response.index   contains response_id with its contents

 包含response_id及其内容

首先是response_id,接着##作为分隔符,接着是内容


5个样本:

0##祝 汤 教授 新年 快乐
1##谢谢 ; 祝 你 新年 快乐
2##祝 各位 朋友 2012 年 十 有 七八 事 如意 ! 看 我 数学 文化 学得 好 吧 …
3##喜欢 教授 的 内容 , 受益匪浅 , 祝 新年 快乐 !
4##数学 文化 , 代代 传承 !
5##祝愿 我 考研 数学 得 个好 成绩 ! ! !



  3. original.pair    original post-response pairs

原始的post-response对信息,post_id和response_id是以:分隔,一个post可能有多个response(逗号分隔)

5个样本:

0:0,1,2,3,4,5,6,7,10,12,13,24,25,29,32,36,359,455,640,679
1:8,11,14,19,41,67,73,83,107,416,960,966
2:9,15,16,17,18,20,22,23,26,28,30,33,34,35,37,38,39,42,43,44,45,47,48,51,53,56,58,59,60,62,63,64,65,66,68,70,71,72,74,75,76,77,78,79,84,85,94,110,119,134,135,136,137,142,150,151,153,154,155,162,164,166,168,169,172,176,185,186,188,189,190,195,197,201,202,205,209,211,226,227,229,234,237,250,254,255,258,263,266,267,276,292,301,305,337,340,346,349,353,362
3:21,27
4:31,40,52,97,100,563
5:46,284



    4. labeled.pair     labeled post-response pairs

带标签的post-response对信息,post_id和response_id是以:分隔,每一行中一个post只有一个response(逗号分隔)

标签,post_ID, response_ID
都是以逗号分隔,其中2表示这一对是‘合适的’,1反之

5个样本

1,10270,259712
1,10270,272666
1,10270,126721
2,10270,126728
1,10270,126754



    5. Readme           readme of this dataset



注意带标签的数据只是原始库的一个很小的子集,并且不是原始库指定的


以下是统计和引用:

--------------------------
Statistics of this dataset
--------------------------
Retrieval_Repository
    #posts              38,016
    #responses          618,104
    #original_pairs     618,104
Labeled_Data
    #posts              422
    #responses          12,402
    #labeled_pairs      12,402


---------------
Please cite the following paper if you publish any result on this data set. Reference paper:
---------------
[1] Hao Wang, Zhengdong Lu, Hang Li, Enhong Chen.
    A Dataset for Research on Short-Text Conversation,
    In Proceedings of Empirical Methods in Natural Language Processing (EMNLP), 935-945, 2013.