如何寻找想要的数据集

时间:2024-03-16 14:11:08

在很多时候,为了解决问题,需要大量的数据,但有时我们并不知道到哪里寻找数据集,本文以小编自己的一些经验来列举一些寻找数据的方法。


1.专门的比赛网站


一般大型数据集都伴随着比赛,比如用于数据分析的各种数据集可在Kaggle上找到,图像分类数据集可在ImageNet比赛上寻找,文本识别数据集可在ICDAR比赛上寻找。


如何寻找想要的数据集


2.爬虫数据


有时我们需要某些网站上的数据,此时爬虫就派上了用场。比如需要影评、书评的数据,我们可以在豆瓣、电影网上爬取。


有的小伙伴可能不懂爬虫技术,只要掌握了Python的request、beautifulSoup库的简单使用,就可以自己爬取数据了。


3.一些公开信息的网站


一般来说,一个行业都有一些行业数据相关的网站,在这些网站上可能有或多或少的数据是可供下载的,我们也必须利用好这些网站。


以上就是小编的个人经验,希望对你有所帮助。


如何寻找想要的数据集