Feature-Engineering-NLP:借助HuggingFace变压器,Tensorflow,Keras,TextBlob,NLTK,Sci-kit学习等进行功能工程

时间:2024-03-16 19:43:25
【文件属性】:

文件名称:Feature-Engineering-NLP:借助HuggingFace变压器,Tensorflow,Keras,TextBlob,NLTK,Sci-kit学习等进行功能工程

文件大小:1.19MB

文件格式:ZIP

更新时间:2024-03-16 19:43:25

tensorflow numpy scikit-learn keras transformers

功能工程-NLP 请在这里找到我的项目,以观察性能分析报告和交互式可视化效果: : 文本数据种类繁多,但原始形式却杂乱无章。 因此,特征工程是训练机器根据给定数据进行预测之前的重要步骤。 在我的笔记本中,我探索了许多预处理和功能工程技术,以从一系列虚假和真实的新闻数据中获取见解。 数据集: 使用的库: NLTK TextBlob 凯拉斯 张量流 HuggingFace变形金刚 正则表达式 大熊猫 科学工具学习 探索的功能: 情感主观性与极性 删除停用词,标点符号和降低的大小写: 生成新闻标题和正文的去词化和词干化版本 为新闻头条生成词汇词典,并绘制单词云图 新闻正文中生成的字数,字符数和平均短语长度 生成新闻正文内容的二元组,三元组和TF-IDF矩阵。 从预训练的模型GloVe生成的单词矢量嵌入 在BertWordPieceTokenizer的帮助下生成编码令牌 生成


【文件预览】:
Feature-Engineering-NLP-main
----real.png(115KB)
----newplot copy.png(34KB)
----fake.png(120KB)
----newplot.png(31KB)
----README.md(2KB)
----feature-engineering.ipynb(2.72MB)

网友评论