【文件属性】:
文件名称:ControversyDetection:海得拉巴IIIT社交计算课程的争议检测项目。 2021年
文件大小:36.37MB
文件格式:ZIP
更新时间:2021-04-18 00:32:44
JupyterNotebook
争议检测
海得拉巴IIIT社交计算课程的争议检测项目。 2021。
数据抓取
用于抓取的脚本位于文件夹dataset_scraper 。 有关运行脚本及其输出的详细说明,请参见dataset_scraper/README.md
预处理抓取的数据
将数据集下载到data文件夹后,我们需要对数据进行预处理。 可以使用预处理器目录中的代码对数据进行预处理。 在笔记本中更改file_name以指向您的数据集。 运行该代码以预处理数据。 它将自动将文件保存在pickle文件中作为数据框。 将变量output_name更改为指向泡菜文件的名称。
透视API得分
然后,我们需要在提取的数据集的注释上提取透视图API分数。 在相关数据集上运行perspective-experiments.ipnb以获取Perspective-API分数。 它将作为perspective.pickle存储在数据目录中。
情