博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Scrapy入门的点点滴滴(一)
阅读量:5939 次
发布时间:2019-06-19

本文共 1899 字,大约阅读时间需要 6 分钟。

从刚开始接触Python2.7到使用Scrapy1.3进行爬虫,经历了许多,不懂的各种百度,硬是从不会进步成入门了,抱怨的话不多说,进入正题。

写这篇文章的目的在于总结这段时间学习Scrapy的到的一些经验

环境搭建

图片描述

1、如果在代码中运行命令scrapy crawl sina2出错(如上图)   subprocess.CalledProcessError: Command 'scrapy crawl sina2'    returned non-zero exit status 1   有可能是:    1、先将scrapy crawl sina2命令在cmd窗口中测试,如果报错:      Fatal error in launcher: Unable to create process using '"'    请参考下方第二点    2、scrapy没有装好
2、如果命令行出错   Fatal error in launcher: Unable to create process using '"'   有可能是:    1、python没有安装在c盘的原因,经测试我将python27放到除c盘以外都不行    2、安装路径不要有 空格中文之类的字符
3、pip被墙,修改国内源方法,可以增加速度(好久没去测试,不懂还可以用不)    1、linux或者是Mac的 pip源:       1、找到vi ~/.pip/pip.conf       2、修改       [global]       index-url = https://pypi.tuna.tsinghua.edu.cn/simple    2、window的 pip源:       1、找到C:\Users\Administrator       2、新建pip文件夹,新建pip.ini文件 填写以下内容       [global]       index-url = https://pypi.tuna.tsinghua.edu.cn/simple
4、安装Scrapy过程中出错:    ERROR: ‘xslt-config’ 不是内部或外部命令,也不是可运行的程序 或批处理文件。    1、在http://pypi.python.org/simple/lxml/下载win10 x64(看系统情况)       的lxml-2.2.8.win-amd64-py2.7.exe    2、然后重新打开cmd去pip install Scrapy 解决了此xml的问题了
5、运行代码报错:   ImportError: No module named win32api   解决:   1、pip install pypiwin32

从一台电脑快速复制环境到另以台电脑(window)

当你在一台电脑上配置相当完全的python开发环境之后,想要换一台同类型的电脑继续工作,一想到要从新安装各类的三方库,是不是很累,我这里有几点小建议

1、首先明确需要的安装的基本东西:    1、jdk(python需要)    2、PythonChram(开发工具)    3、Python27(python基础)
2、jdk:    1、到已安装电脑的安装目录复制jdk文件夹    2、拷贝到新电脑你想要存放的目录(注意目录不要有中文、特殊字符等)    3、配置jdk环境变量,路径指向你存放的目录(自行百度)    说明:jdk安装完的文件夹,可以直接拷贝应用,无需从网络上下载然后安装,比较方便
3、PythonChram:    1、到已安装电脑的安装目录复制PythonChram文件夹    2、拷贝到新电脑你想要存放的目录(注意目录不要有中文、特殊字符等)    3、同时:也可以打开软件,将设置项导出,拷贝到新电脑的软件上使用,可以省去设置软件    外观的麻烦事,但是可能有些基础的配置项就需要重新配置如:       1、python解释器的位置       2、git的路径
4、Python27:    1、到已安装电脑的安装目录复制Python27文件夹    2、拷贝到新电脑的C盘根目录(特别注意:放到除C盘之外的目录可能会出现问题,请自测)    3、配置环境变量(指向存放的c盘目录)    说明:Python27安装完的文件夹,可以直接拷贝应用,无需从网络上下载然后安装,比较         方便,而且里面已经包含了需要的三方库,可以省掉用pip安装的麻烦事情

转载地址:http://wcttx.baihongyu.com/

你可能感兴趣的文章
UVA-10347 Medians 计算几何 中线定理
查看>>
eclipse中怎么删除重复的console
查看>>
软件工程(2019)结对编程第二次作业
查看>>
平安人寿保险-深圳Java开发工程师社招面试
查看>>
编辑距离问题
查看>>
Python_练习题_49
查看>>
第二周项目2-长方柱类
查看>>
Ibatis.net + Npgsql +PostgreSql 多线程“Timeout while getting a connection from pool.”
查看>>
Node.js权威指南 (14) - 使用Express构建Web应用程序
查看>>
Java EE (1) -- Java EE 6 Web Component Developer Certified Expert(1z0-899)
查看>>
linux--svn checkout
查看>>
Java异常
查看>>
洗礼灵魂,修炼python(30)--装饰器(2)—>装饰器总结+进阶使用
查看>>
Apache与Nginx的优缺点比较
查看>>
QR分解
查看>>
HDU 6154 CaoHaha's staff【找规律】【思维题】【好题】
查看>>
为什么Redis能这么快
查看>>
Bootstrap 表格
查看>>
js插入排序
查看>>
32位系统使用文件作为媒介来模拟大于4G内存访问
查看>>