Scrapy的安装

Windows 安装方式

  • 升级 pip 版本：
1
pip install --upgrade pip
  • 通过 pip 安装 Scrapy 框架(清华镜像源):
1
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple scrapy

Ubuntu 安装方式

  • 安装非 Python 的依赖:
1
sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
  • 通过 pip 安装 Scrapy 框架：
1
sudo pip install scrapy

创建项目

输入指令，创建项目，项目名称不能为中文字符：

1
scrapy startproject Douban

创建成功后会显示如下信息：

New Scrapy project 'Douban', using template directory 'D:\Python\Lib\site-packages\scrapy\templates\project', created in:
    C:\Users\94152\Desktop\scrapy学习案例\Douban

You can start your first spider with:
    cd Douban
    scrapy genspider example example.com

创建爬虫

输入指令进入项目内：

1
cd Douban

创建一个名为get_250的爬虫，并指定爬取域的范围：

1
scrapy genspider get_250 "douban.com"