【文件属性】:
文件名称:Feature-Engineering-NLP:借助HuggingFace变压器,Tensorflow,Keras,TextBlob,NLTK,Sci-kit学习等进行功能工程
文件大小:1.19MB
文件格式:ZIP
更新时间:2021-02-25 01:56:45
tensorflow numpy scikit-learn keras transformers
功能工程-NLP
请在这里找到我的项目,以观察性能分析报告和交互式可视化效果: : 文本数据种类繁多,但原始形式却杂乱无章。 因此,特征工程是训练机器根据给定数据进行预测之前的重要步骤。 在我的笔记本中,我探索了许多预处理和功能工程技术,以从一系列虚假和真实的新闻数据中获取见解。
数据集:
使用的库:
NLTK
TextBlob
凯拉斯
张量流
HuggingFace变形金刚
正则表达式
大熊猫
科学工具学习
探索的功能:
情感主观性与极性
删除停用词,标点符号和降低的大小写:
生成新闻标题和正文的去词化和词干化版本
为新闻头条生成词汇词典,并绘制单词云图
新闻正文中生成的字数,字符数和平均短语长度
生成新闻正文内容的二元组,三元组和TF-IDF矩阵。
从预训练的模型GloVe生成的单词矢量嵌入
在BertWordPieceTokenizer的帮助下生成编码令牌
生成
【文件预览】:
Feature-Engineering-NLP-main
----real.png(115KB)
----newplot copy.png(34KB)
----fake.png(120KB)
----newplot.png(31KB)
----README.md(2KB)
----feature-engineering.ipynb(2.72MB)