安装过程还是非常需要一个稳定的梯子的!如果没有,建议尝试下把pip源设置成国内的源试下(emmmmm,这个我没有尝试过,具体行不行不清楚).

我是在版本Pycharm的virtualenv虚拟环境下进行的!

注意: 以下所有命令全部是在Pycharm中的Terminal中执行的!

方法一: 使用pip安装所有依赖包

• 设置pip走代理    

  方法一: 每次执行命令时加上:  pip  --proxy='http://ip:port'

       方法二: 创建 ~/pip/pip.ini 文件,并且添加

[global]
proxy=http://ip:port

• 升级pip版本

pip install --upgrade pip

            升级完成之后用pip -V 看下版本是否变化了.

            注意: 通过我的尝试2019版本的pycharm使用命令升级pip总是失败,需要到Setting --> Project:Name --> Python Interpreter页面,点击pip,然后再进入的新页面点击Install Package来升级才行(应该是pycharm的bug)

• 安装wheel

pip install wheel

• 安装lxml

pip install lxml

坑: 

    安装的时候应该会提示:  error: Microsoft Visual C++ 14.0 is required

    因为python3 是用 VC++ 14 编译的, python27 是 VC++ 9 编译的, 安装 python3 的包需要编译的也是要 VC++ 14 以上支持的.

    安装Microsoft Visual C++ Build Tools 2015来解决这个问题,更多的参考: error: Microsoft Visual C++ 14.0 is required问题最佳解决方法这篇文章.

• 安装twisted

pip install twisted

• 安装Scrapy

pip install scrapy

方法二: 下载whl文件然后使用pip来安装

• 升级pip版本

pip install --upgrade pip

还是要验证下升级是否成功的.

• 安装wheel

pip install wheel

• 安装lxml

  下载lxml的whl文件,保存到项目文件夹中,然后执行

pip install  刚下载下来的文件名

如何选择对应的文件: 

        1. 首先查看自己的python版本和位数


        在Terminal中输入python

(venv) D:\PycharmProjects\T2>python
Python 3.8.7 (tags/v3.8.7:6503f05, Dec 21 2020, 17:59:51) [MSC v.1928 64 bit (AMD64)] on win32
Type "help", "copyright", "credits" or "license" for more information.

版本是: 3.8.7 ,所以我们选 cp38 的(如果是python版本是3.9.1,那么我们就选cp39的)


位数: 64位 (主要看[MSC v.1928 64 bit (AMD64)]  bit前跟的数字是多少 ),我们选win_amd64.whl,如果是32位的就选win32.whl

• 安装twisted

  下载twisted的whl文件,保存到项目文件夹中,然后执行

pip install  刚下载下来的文件名

• 安装Scrapy

pip install scrapy




坑: 如果安装whl文件的时候显示is not a supported wheel on this platform

    在确保自己选择的下载文件和系统位数完全匹配的情况下,还有可能就是你刚刚pip升级没有成功,版本太老了!升级下pip就解决了!

验证:

(venv) D:\PycharmProjects\T2>scrapy -h
Scrapy 2.4.1 - no active project

Usage:
  scrapy <command> [options] [args]

Available commands:
  bench         Run quick benchmark test
  commands
  fetch         Fetch a URL using the Scrapy downloader
  genspider     Generate new spider using pre-defined templates
  runspider     Run a self-contained spider (without creating a project)
  settings      Get settings values
  shell         Interactive scraping console
  startproject  Create new project
  version       Print Scrapy version
  view          Open URL in browser, as seen by Scrapy

  [ more ]      More commands available when run from project directory

Use "scrapy <command> -h" to see more info about a command

正常显示出帮助信息就是安装的没有问题的.