从刚开始接触Python2.7到使用Scrapy1.3进行爬虫,经历了许多,不懂的各种百度,硬是从不会进步成入门了,抱怨的话不多说,进入正题。
写这篇文章的目的在于总结这段时间学习Scrapy的到的一些经验
环境搭建
1、如果在代码中运行命令scrapy crawl sina2出错(如上图) subprocess.CalledProcessError: Command 'scrapy crawl sina2' returned non-zero exit status 1 有可能是: 1、先将scrapy crawl sina2命令在cmd窗口中测试,如果报错: Fatal error in launcher: Unable to create process using '"' 请参考下方第二点 2、scrapy没有装好
2、如果命令行出错 Fatal error in launcher: Unable to create process using '"' 有可能是: 1、python没有安装在c盘的原因,经测试我将python27放到除c盘以外都不行 2、安装路径不要有 空格中文之类的字符
3、pip被墙,修改国内源方法,可以增加速度(好久没去测试,不懂还可以用不) 1、linux或者是Mac的 pip源: 1、找到vi ~/.pip/pip.conf 2、修改 [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple 2、window的 pip源: 1、找到C:\Users\Administrator 2、新建pip文件夹,新建pip.ini文件 填写以下内容 [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple
4、安装Scrapy过程中出错: ERROR: ‘xslt-config’ 不是内部或外部命令,也不是可运行的程序 或批处理文件。 1、在http://pypi.python.org/simple/lxml/下载win10 x64(看系统情况) 的lxml-2.2.8.win-amd64-py2.7.exe 2、然后重新打开cmd去pip install Scrapy 解决了此xml的问题了
5、运行代码报错: ImportError: No module named win32api 解决: 1、pip install pypiwin32
从一台电脑快速复制环境到另以台电脑(window)
当你在一台电脑上配置相当完全的python开发环境之后,想要换一台同类型的电脑继续工作,一想到要从新安装各类的三方库,是不是很累,我这里有几点小建议
1、首先明确需要的安装的基本东西: 1、jdk(python需要) 2、PythonChram(开发工具) 3、Python27(python基础)
2、jdk: 1、到已安装电脑的安装目录复制jdk文件夹 2、拷贝到新电脑你想要存放的目录(注意目录不要有中文、特殊字符等) 3、配置jdk环境变量,路径指向你存放的目录(自行百度) 说明:jdk安装完的文件夹,可以直接拷贝应用,无需从网络上下载然后安装,比较方便
3、PythonChram: 1、到已安装电脑的安装目录复制PythonChram文件夹 2、拷贝到新电脑你想要存放的目录(注意目录不要有中文、特殊字符等) 3、同时:也可以打开软件,将设置项导出,拷贝到新电脑的软件上使用,可以省去设置软件 外观的麻烦事,但是可能有些基础的配置项就需要重新配置如: 1、python解释器的位置 2、git的路径
4、Python27: 1、到已安装电脑的安装目录复制Python27文件夹 2、拷贝到新电脑的C盘根目录(特别注意:放到除C盘之外的目录可能会出现问题,请自测) 3、配置环境变量(指向存放的c盘目录) 说明:Python27安装完的文件夹,可以直接拷贝应用,无需从网络上下载然后安装,比较 方便,而且里面已经包含了需要的三方库,可以省掉用pip安装的麻烦事情