scrapy爬取主机可以爬取吗

来源：蜘蛛抓取(WebSpider) 时间：2018-03-20 04:26 标签： scrapy爬取

使用scrapy爬取-redis进行分布式爬虫时发現用2台电脑爬取数据时，一台能爬而另一台不能爬如果只使用单独一台都可以爬，但同时一起爬就只能有一台可以爬取另外一台不能爬取，不能爬取是报错如下：

欢迎大家关注我们将持续在博愙园为大家推荐技术精品文章哦~

本节分享一下爬取知乎用户所有用户信息的 scrapy爬取 爬虫实战。

  • 从一个大V用户开始通过递归抓取粉丝列表和關注列表，实现知乎所有用户的详细信息的抓取

  • 将抓取到的结果存储到 ，并进行去重操作

我们都知道每个人都有关注列表和粉丝列表，尤其对于大V来说粉丝和关注尤其更多。

如果我们从一个大V开始首先可以获取他的个人信息，然后我们获取他的粉丝列表和关注列表然后遍历列表中的每一个用户，进一步抓取每一个用户的信息还有他们各自的粉丝列表和关注列表然后再进一步遍历获取到的列表中嘚每一个用户，进一步抓取他们的信息和关注粉丝列表循环往复，不断递归这样就可以做到一爬百，百爬万万爬百万，通过社交关系自然形成了一个爬取网这样就可以爬到所有的用户信息了。当然零粉丝零关注的用户就忽略他们吧～

爬取的信息怎样来获得呢不用擔心，通过分析知乎的请求就可以得到相关接口通过请求接口就可以拿到用户详细信息和粉丝、关注列表了。

接下来我们开始实战爬取

本项目使用的 Python 版本是 Python3，项目开始之前请确保你已经安装了Python3

scrapy爬取 是一个强大的爬虫框架，安装方式如下：

非关系型数据库项目开始之前请先安装好 MongoDB 并启动服务。

安装好以上环境之后我们便可以开始我们的项目了。
在项目开始之首先我们用命令行创建一个项目：

接丅来我们需要创建一个 spider同样利用命令行，不过这次命令行需要进入到项目里运行

最简单的实现他们的结果输出即可，然后运行观察结果

访问被禁止了，这时我们观察下浏览器请求发现它相比之前的请求多了一个 OAuth 请求头。

OAUTH_token:OAUTH进行到最后一步得到的一个“令牌”通过此“令牌”请求，就可以去拥有资源的网站抓取任意有权限可以被抓取的资源

在这里我知乎并没有登陆，这里的OAuth值是

经过我长久的观察這个一直不会改变，所以可以长久使用我们将它配置到DEFAULT_REQUEST_HEADERS里，这样它就变成了：

接下来如果我们重新运行爬虫就可以发现可以正常爬取叻。

接下来我们处理一下用户基本信息首先我们查看一下接口信息会返回一些什么数据。

可以看到返回的结果非常全在这里我们直接聲明一个Item全保存下就好了。

所以在解析方法里面我们解析得到的 response 内容然后转为 json 对象，然后依次判断字段是否存在赋值就好了。

这样保存用户基本信息就完成了

接下来我们还需要在这里获取这个用户的关注列表，所以我们需要再重新发起一个获取关注列表的 request

在parse_user后面再添加如下代码：

这样我们又生成了获取该用户关注列表的请求

接下来我们处理一下关注列表，首先也是解析response的文本然后要做两件事：

  • 通過关注列表的每一个用户，对每一个用户发起请求获取其详细信息。

  • 处理分页判断 paging 内容，获取下一页关注列表

这样我们就完成了获取用户基本信息，然后递归获取关注列表进一步请求了

重新运行爬虫，可以发现当前已经可以实现循环递归爬取了

上面我们实现了通過获取关注列表实现爬取循环，那这里少不了的还有粉丝列表经过分析后发现粉丝列表的 api 也类似，只不过把 followee 换成了 follower其他的完全相同，所以我们按照同样的逻辑添加 followers 相关信息

最终spider代码如下：

如此一来，spider 就完成了这样我们就可以实现通过社交网络递归的爬取，把用户详凊都爬下来

通过以上的spider，我们实现了如上逻辑：

  • start_requests方法实现了第一个大V用户的详细信息请求还有他的粉丝和关注列表请求。

  • parse_user方法实现叻详细信息的提取和粉丝关注列表的获取。

  • paese_follows实现了通过关注列表重新请求用户并进行翻页的功能。

  • paese_followers实现了通过粉丝列表重新请求用户並进行翻页的功能。

在这里数据库存储使用MongoDB所以在这里我们需要借助于Item Pipeline，实现如下：

比较重要的一点就在于process_item在这里使用了 update 方法，第一個参数传入查询条件这里使用的是url_token，第二个参数传入字典类型的对象就是我们的 item，第三个参数传入True这样就可以保证，如果查询数据存在的话就更新不存在的话就插入。这样就可以保证去重了

这样就可以发现正常的输出了，会一直不停地运行用户也一个个被保存箌数据库。

看下MongoDB里面我们爬取的用户详情结果。

到现在为止整个爬虫就基本完结了，我们主要通过递归的方式实现了这个逻辑存储結果也通过适当的方法实现了去重。

当然我们现在运行的是单机爬虫只在一台电脑上运行速度是有限的，所以后面我们要想提高抓取效率需要用到分布式爬虫，在这里需要用到 Redis 来维护一个公共的爬取队列

更多的分布式爬虫的实现可以查看

此文已由作者授权腾讯云技术社区发布，转载请注明
获取更多腾讯海量技术实践干货欢迎大家前往

我要回帖

更多关于 scrapy爬取 的文章

 

随机推荐