1.最近因为在学习爬虫,有需要用到Scrapy框架。安装过程中出了点问题,但好在经过一段时间的折腾,找到了解决方法,就在这里mark一下,以供以后参考。
2.刚开始在命令行中conda install scrapy (电脑上的IDE是Anaconda)和 pip install scrapy,都提示有需要更新scrapy所依赖的python、openssl、lxml等包,但在更新之后提示“Microsoft Visual C++ 9.0 is required”。上网一查,是python2.7需要VS2008的支持,但我电脑上的VS已经升级为VS2015,并不支持python2.7。之前在入门的时候,由于很多经典的python书和案例都是以python2.7为基础的,所以同时安装了python2.7和python3.5。但近来各种资源越来越多地开始支持python3了,遂放弃python2.7。然后在python3环境再次执行pip install scrapy ,顺利安装完毕。
下面是安装Scrapy时所需要更新的软件包清单:
相关文章
- conda找不到安装的环境 Could not find conda environment(添加已经存在的python环境)
- windows7下安装python3的scrapy框架
- MacOs M1 安装python环境(pyenv+virtualenv)总结
- 深度学习 | 基于 CPU 的 tensorflow + keras + python 版本对照及环境安装
- PySpark安装及WordCount实现(基于Ubuntu)-安装Java: PySpark需要Java运行环境。你可以使用以下命令安装OpenJDK: sudo apt update sudo apt install default-jre default-jdk 安装Scala: PySpark还需要Scala,可以使用以下命令安装: sudo apt install scala 安装Python: 如果你的系统没有Python,可以安装Python 3: sudo apt install python3 安装Apache Spark: 下载并解压Apache Spark。你可以在Apache Spark官网下载最新版本的Spark。 wget https://downloads.apache.org/spark/spark-x.y.z/spark-x.y.z-bin-hadoopx.y.tgz tar -xzvf spark-x.y.z-bin-hadoopx.y.tgz 将 spark-x.y.z-bin-hadoopx.y替换为你下载的实际版本。 设置环境变量: 在 .bashrc或 .zshrc文件中设置Spark和PySpark的环境变量: export SPARK_HOME=/path/to/spark-x.y.z-bin-hadoopx.y export PATH=$PATH:$SPARK_HOME/bin export PYSPARK_PYTHON=python3 记得使用实际的Spark路径。 安装PySpark: 使用pip安装PySpark: pip install pyspark 实现WordCount:
- python生成环境打包,利用安装Python环境
- python中if brthon环境安装包_python-模块系列
- Python 2.7环境下安装numpy和scipy
- centos6.9安装python3.6.9独立的virtualenv环境,并且能正确引入ssl
- Python 查看虚拟环境安装包地址