新浪微博数据怎么采集不了（微博用数据刷不出来）

如何写爬虫程序爬取豆瓣网或者新浪微博里的内容

早已有人将http请求封装成了类库，你只需要调下接口，就能获得目标网页的源码。所以程序需要做的就是请求目标url，获取页面的源码，解析html。基本流程是：获取目标页面源码，方法：调用对应的类库。

我们知道网页之间是通过超链接互相连接在一起的，通过链接我们可以访问整个网络。所以我们可以从每个页面提取出包含指向其它网页的链接，然后重复的对新链接进行抓取。通过以上几步我们就可以写出一个最原始的爬虫。

Requests 使用 Requests 库是 Python 中发起 HTTP 请求的库，使用非常方便简单。

用前嗅的ForeSpider数据采集软件可以采集，我之前采过豆瓣的影评，可以设置各种过滤规律，比如我只要豆瓣评分0以上的电影，就可以精确的过滤。可以下载一个免费版的试试，没有功能和使用时长限制。

1、登录电脑版新浪微博账号，点击右上角的信封图案，在出现的选项里点击【评论】在出现的界面点击【发出的评论】，即可查看所有自己发出的评论。

2、登录新浪微博，在首页右上角找到消息点击消息，出现复选菜单点击评论可以看到收到的评论和发出的评论点击收到的评论，可以看到别人给你的回复以上步骤可以查看，自己发出的评论和别人给你的回复。

3、问题一：怎么看微博上自己给别人的评论呢这个简单，先进自己的主页，点一下广播。然后就会在我的广播里看到评论，点一下评论即可。

4、有些页面变化比较细微，需要仔细观察才能发现，微博评论就是这样。在拖动滚动条至出现「查看更多」的过程中，页面出现了轻微的卡顿，这表示页面有一部分会随着用户往下浏览而加载。

5、打开微博，点击消息；点击收到的评论，即可找到比人的评论。

使用python调用API的话，首先要去下一个Python的SDK，sinaweibopy 连接地址在此： http：//michaelliao.github.com/sinaweibopy/ 可以使用pip很快的导入，github连接里的wiki也有入门的使用方法，很容易看懂。

爬取用户微博本项目开发语言是Python 7，项目中用了一些第三方库，第三方库可以用pip的方法添加。既然程序自动登录的想法被验证码挡住了，想要访问特定用户微博页面，只能使用者提供cookies了。

最近开发做了个Python的新浪微博爬虫！源码地址为GitHub - Kevinsss/weibo_spider 从数据库中拿出用户id列表，批量爬取一批用户id的微博数据，然后保存相应的内容到数据库中。

数据来自该地址： https：//weibo.com/5977512966/L6w2sfDXb#comment 爬取的下面的全部评论：微博的网页属于Ajax渲染，当我们向下滑动的时候会显示的评论，地址栏的URL不变，需要找到实际的请求URL。

1、登录不上显示请检查网络一般是因为升级iOS 14导致网络连接设置成为了【关闭】，解决方法：打开手机，点击【设置】按键。进入设置，点击【蜂窝网络】。进入蜂窝网络菜单页面，向上滑动【手机屏幕】。

2、网页本身的问题，目前许多网站都是用的免费共享型模板，一般这样的模板都存在不通用，原模板的所有js（javascript)脚本可能又没有被完全用到。加之设计者的水平或是疏忽等问题。导致在页面上找不到js对象。

3、微博被禁止数据联网，解决方法如下：第一步，点击安全中心。第二步，点击网络助手。第三步，点击联网控制。第四步，点击数据列微博对应的。第五步，完成。