文件名称:fbook_CWI
文件大小:169.25MB
文件格式:ZIP
更新时间:2024-03-23 22:06:30
Python
Facebook复杂单词识别 作为刘裕东博士研究实验室的一部分开发( ) 目前正在进行中 安装 运行pip3 install -r requirements.txt以获取所有软件包\ 运行特征提取时,需要运行nlp-core。 这是安装指南: : 测试数据说明 1.运行python3 unpack_json.py将json对象解压缩为正确的数据格式(文本,id) 注意:您可以1.手动将json文件放在目录中,然后运行unpack_json.py 2.或使用-j命令运行unpack_json.py,以自动从抓取工具中检索上次下载的json文件 例如:python3 unpack_json.py -j 1 2.接下来,运行.py 这将对文本进行预处理,并使用POS标签和NER提取内容词。 它还将附加每个内容词的开始和结束索引 例如:python3 run.py 列的标识如下: 句
【文件预览】:
fbook_CWI-master
----setup.py(88B)
----.gitignore(1KB)
----requirements.txt(2KB)
----camb_model()
--------train_model.py(30KB)
--------ngram_model.py(3KB)
--------.ipynb_checkpoints()
--------run_model.py(8KB)
--------dev_data()
--------training_data()
--------lm()
--------corpus()
--------features.zip(98.72MB)
--------models()
--------helper.py(3KB)
--------feature_extraction.py(27KB)
--------data_analysis.py(4KB)
--------analyze_features.py(3KB)
--------add_features.py(11KB)
--------one_off_scripts()
--------dashboard.py(1KB)
--------notebook.ipynb(43KB)
--------testing_data()
--------binary-features()
----README.md(4KB)
----diagrams()
--------pipeline_overview.png(23KB)
--------pipeline_high.png(15KB)