python - 如何获取新浪微博某个用户的转发微博数和原创微博数

问题描述

问 题

1.问题描述
我正在做微博水军相关分析，需要获取微博用户的转发微博比和原创微博比，即用户转发他人微博数/所有微博数。

查阅文献发现很多人的论文中有这一类数据，但不知道怎么获得的。

我发现手机端和pc版本的微博，都可以利用筛选，查找一个人的转发微博，但是当我在手机版这样筛选时返回结果为空。

而电脑版得到的结果，转发微博数和原创微博数的和明显远小于全部微博数。

2.需要的帮助
（1）新浪微博的搜索引擎是不是有问题
（2）能否通过某种搜索方式得到一个人的原创微博数，和转发微博数，API与爬虫均可。（不是用全部微博数-原创微博数，因为还包含不可见微博）。

这个问题已被关闭，原因：问题已解决 - 问题已解决，且对他人无借鉴意义

解决方案

我开源了一个分布式的微博爬虫，该项目最初是做关于热门微博转发的分析（和我本身工作相关）。后来经过我多次修改，加了很多新的功能，并把它开源出来了。关于第一个问题，微博的搜索引擎是否有问题，我觉得有可能是它刻意为之，因为比如像用户关注和用户粉丝，微博系统就只会限制返回5页数据，像按地方搜索用户，也只会返回几万条数据。也有可能是由于有些微博你没权限查看，而它搜出来的结果是你有权限查看的。
你说的第二个问题，不可见微博肯定是拿不到的，爬虫只能拿到普通用户能看见的微博数据，这个我也是在代码中实现了。因为私有微博的话，肯定微博系统不会展示的，API应该也拿不到。因为微博这么大的公司，还是得保护一下用户隐私吧。
移动端你通过搜索接口搜索返回为空的原因，其实可能是因为微博刻意这么做的。你可以仔细调研一下，会发现PC端的信息比移动端的微博信息丰富得多。所以如果要做爬虫，且要求数据全面，肯定得从PC端入手。

这篇关于python - 如何获取新浪微博某个用户的转发微博数和原创微博数的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持IT屋！