Scrapy - 环境

在本章中,我们将讨论如何安装和设置Scrapy.必须使用Python安装Scrapy.

可以使用 pip 安装Scrapy.要安装,请运行以下命令 :

 
 pip install Scrapy

Windows

注意 :  Windows操作系统不支持Python 3.

步骤1 : 从 Python 安装Python 2.7

通过添加设置环境变量以下路径指向PATH :

C:\Python27\;C:\Python27\Scripts\;

您可以使用以下命令检查Python版本 :

 
 python --version

第2步 : 安装 OpenSSL .

添加C :\ OpenLSL-Win32 \ bin在您的环境变量中.

注意 :  OpenSSL预装在除Windows以外的所有操作系统中.

步骤3 : 安装 Visual C ++ 2008 可再发行组件.

第4步 : 安装 pywin32 .

步骤5 : 为早于2.7.9的Python版本安装 pip .

您可以使用以下命令检查点数版本 :

 
 pip --version

第6步 : 要安装scrapy,请运行以下命令 :

 
 pip install Scrapy

Anaconda

如果您有 anaconda 或

 
 conda install -c scrapinghub scrapy

Scrapinghub 公司支持Linux,Windows和OS X的官方conda软件包.

注意 : 如果您在通过pip安装时遇到问题,建议使用上面的命令安装Scrapy.

Ubuntu 9.10或更高版本

最新版本的Python是预安装在Ubuntu OS上.使用Scrapinghub提供的Ubuntu软件包aptgettable.使用包 :

第1步 : 您需要将用于签署Scrapy包的GPG密钥导入APT密钥环和减号;

 
 sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

第2步 : 接下来,使用以下命令创建/etc/apt/sources.list.d/scrapy.list文件 :

 
 echo'dec http ://archive.scrapy.org/ubuntu scrapy main'| sudo tee 
/etc/apt/sources.list.d/scrapy.list

第3步 : 更新包列表并安装scrapy :

 
 sudo apt-get update&& sudo apt-get install scrapy

Archlinux

您可以使用以下命令从AUR Scrapy软件包安装Scrapy :

 
 yaourt -S scrapy

Mac OS X

使用以下命令安装Xcode命令行工具 :

 
 xcode-select --install

不要使用系统Python,而是安装一个与系统其他部分不冲突的新更新版本.

第1步 : 安装自制软件.

第2步 : 设置环境PATH变量以指定在系统包之前应使用自制软件包 :

 
 echo"export PATH =/usr/local/bin:/usr/local/sbin:$ PATH">> 〜/.bashrc

第3步 : 要确保更改完成,请使用以下命令重新加载 .bashrc ;

 
 source~/.bashrc

第4步 : 接下来,使用以下命令安装Python :

 
 brew install python

第5步 : 使用以下命令安装Scrapy :

 
 pip install Scrapy