【文件属性】:
文件名称:Reddit-NLP
文件大小:5.61MB
文件格式:ZIP
更新时间:2021-02-10 22:44:49
JupyterNotebook
项目3:Web API和NLP
问题陈述
通过使用带有不同矢量化器的各种模型,我想通过分析用户在不同子reddit中使用的词来确定模型是否可以准确预测用户的成熟度/年龄。 我将从每个subreddit,r / Teenagers和r / Adulting收集5,000行数据,并使用这些数据来训练我的朴素贝叶斯和KNN模型。 我的目标是确定在两个子Reddit中的任何一个中使用的关键字,创建停用词,并确定模型中的最佳超参数。
使用的内容和数据
笔记本(按顺序)
数据采集
Adulting_DataCollection.ipynb
Teens_DataCollection.ipynb
预处理Preprocessing.ipynb
造型
知识网络
朴素贝叶斯
工作流程
数据采集
使用PushShift API。
每个subreddit收集5,000个帖子。
数据清理和EDA
结
【文件预览】:
Reddit-NLP-main
----Project3_Preprocessing.ipynb(1.37MB)
----Project3_Teenagers_DataCollection.ipynb(50KB)
----Project 3_ Web APIs & NLP (1).pptx(1.12MB)
----images()
--------teenagers_common_words.png(13KB)
--------misclassified_naivebayes.png(13KB)
--------misclassified_knn.png(11KB)
--------adults_common_words.png(12KB)
--------overall_common_words.png(11KB)
--------misclassified_words.png(12KB)
----data()
--------teenagers_subreddit.csv(3.26MB)
--------adulting_subreddit.csv(5.55MB)
--------merged_subreddits.csv(13.08MB)
----Project3_Adulting_DataCollection.ipynb(36KB)
----Project3_NaiveBayes.ipynb(143KB)
----Project3_KNN.ipynb(40KB)
----.gitignore(29B)
----README.md(5KB)