linux分布式scrapy爬虫之安装scrapy-redis

云计算 waitig 922℃ 百度已收录 0评论

安装完redis后,进入到redis目录下

输入redis-cli 会有提示安装 sudo apt-get install redis-tools

再输入:redis-server /etc/redis.conf 会有提示安装:sudo apt-get install redis-server

测试:
输入:hadoop@slave1:~/.local/lib/python2.7/site-packages/redis$ redis-cli
127.0.0.1:6379> 

修改配置文件::
hadoop@slave1:/etc/redis$ sudo vi redis.conf

#bind 127.0.0.1  改为 bind 0.0.0.0

远程访问:需要将 /etc/redis/redis.conf 的bind 127.0.0.1 改为 bind 0.0.0.0 

然后输入: ps -ef | grep redis 查看进程:

redis      1193      1  0 12:41 ?        00:00:00 /usr/bin/redis-server 0.0.0.0:6379   //这个地方是0.0.0.0:6379或者是 *:6379,表示其他ip可以访问
hadoop     1715   1700  0 12:46 pts/0    00:00:00 grep –color=auto redis

测试:hadoop@slave1:/etc/redis$ redis-cli -h 192.168.71.128 -p 6379
192.168.71.128:6379> 

报错:No matching distribution found for PIL 名字换了使用sudo pip install pillow

报错:No matching distribution found for mysqldb  安装MySQLdb模块,应该用MySQL-python,所以sudo pip install mysql-python
报错:mysql-python安装时EnvironmentError: mysql_config not found   只要原因是没有安装:libmysqlclient-dev 所以:sudo apt-get install libmysqlclient-dev

注意:如果要重新运行爬虫记得把master上的redis清空,因为master里的数据库“dmoz:dupefilter”是用来过滤重复的请求

192.168.71.128:6379> flushdb

使用命令:sudo vim /etc/redis/redis.conf 进行修改:
1、将保护模式设置为no:
如果不设置此处的话,windows下访问redis直接崩溃。
2、bind ip注释掉:
如果不注释掉,只有本地可以访问redis,windows是不能访问的。
接下来重启我们的redis服务,使用命令sudo service redis restart

启动分布式爬虫:

使用很简单 pip install scrapy-redis 安装
然后修改常规spider文件
1.引入RedisCrawlSpider和RedisSpider一样
from weibo.scrapy_redis.spiders import RedisSpider  ##这个scrapy_redis文件夹在weibo项目文件下,所以引入使用weibo.scrapy_redis.spiders
2.将spider类继承改为RedisSpider

class Weibo(RedisSpider):
3.将
start_urls = (
    ‘https://www.weibo.com’,
)
替换为
redis_key = ‘weibospider:start_urls’
4.然后在setting里面设置redis数据库的地址等
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
SCHEDULER_PERSIST = True
SCHEDULER_QUEUE_CLASS = ‘scrapy_redis.queue.SpiderPriorityQueue’
REDIS_URL = ‘redis://192.168.71.129:6379’
REDIS_HOST = ‘127.0.0.1’
REDIS_PORT = 6379
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
5.然后启动爬虫,发现如下:
2017-10-20 17:09:03 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-10-20 17:09:03 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023
2017-10-20 17:10:03 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)
2017-10-20 17:11:03 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min)

说明正在等待请求的urls,爬虫属于饥渴状态!!
此时已经在使用redis管理url队列,但是redis里面还没有start_urls
使用命令在master端输入:redis-cli

127.0.0.1:6379> lpush weibospider:start_urls https://weibo.cn/2810373291/fans
(integer) 1
127.0.0.1:6379> 
将start_urls push进redis

回头去看爬虫程序,如下:

2017-10-20 17:11:01 [weibospider] DEBUG: Read 1 requests from ‘weibospider:start_urls’
2017-10-20 17:11:03 [scrapy.core.engine] DEBUG: Crawled (200) <GET https://weibo.cn/2810373291/fans> (referer: None)

说明了从redis中取出了刚刚放进入的start_urls,然后爬虫就会开始爬取了哦

中途任意时间可以运行上面的命令将start_urls push进redis 进行爬取


本文由【waitig】发表在等英博客
本文固定链接:linux分布式scrapy爬虫之安装scrapy-redis
欢迎关注本站官方公众号,每日都有干货分享!
等英博客官方公众号
点赞 (0)分享 (0)