python3环境的scrapy环境的安装

系统运维 waitig 684℃ 百度已收录 0评论

简介

Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的.

我在安装过程中遇到了问题,我的环境是python3.6.3,可能这个新版本没有很好的对scrapy很好的支持,因此安装缺少依赖

python3环境安装

安装scrapy

1、安装pip3 install scrapy提示不支持https,因此猜测可能是因为没有openssl问题,于是安装openssl包,接着重新编译运行python3环境。
2、pip3 install scrapy提示缺少Twisted包
那我们就来安装吧

wget https://twistedmatrix.com/Releases/Twisted/17.1/Twisted-17.1.0.tar.bz2

tar -jxvf Twisted-17.1.0.tar.bz2

cd Twisted-17.1.0

python3 setup.py install

接着安装pip3 install scrapy即可


本文由【waitig】发表在等英博客
本文固定链接:python3环境的scrapy环境的安装
欢迎关注本站官方公众号,每日都有干货分享!
等英博客官方公众号
点赞 (0)分享 (0)