scrapyscrapy-redis 和 scrapy 有什么区别

requests 和 scrapy 在不同的爬虫应用中，各自有什么优势

requests 是库，主要是构造网络请求，获取网页内容，后续的解析、存储都要另行解决。

scrapy 是框架，可以说是爬虫的打包方案，除了上述构造请求、拿内容、解析、存储外，还可以做分布式爬虫，挂代理，等等一大堆功能。

区别就是，假如是要做一个特别复杂的爬虫，可以用 scrapy。

假如是临时小需求，可能学会配置 scrapy 的时间，已经足够用 requests 抓完数据了。

scrapy怎么爬去需要登陆的网站

经常在爬有些网站的时候需要登录，大多数网站需要你提供一个用户名和密码，在这种情况下，需要先向网站发送一个POST请求。

可以使用Scrapy的FormRequest类，这个类和Request类很相似，只是多了一个extra参数，用这个参数可以传递表单数据。

scrapy在爬网页的时候是自动采用多线程的吗

其实你的意思并不是“多线程”的意思，而是浏览器在多个点里进行下载，而提高下载速度。

现在的浏览器都支持这种技术，比如IE6可以最多同时下载20个图片，或网页元素，并将它们分别打开。

但是在网页制作中，人们往往采用表格来布局，而浏览器往往是将一个表格全部读取完成后才显示出来，这样，用表格来布局，往往速度就很慢了，这里面的慢其实是表格内容一下子显示出来，等待的过程让人着急而已。

现在用CSS＋DHMTL布局手段就有效解决了这个问题，网页中不同的元素分列在不同的“层”里，这样浏览器就可以分别下载，分别显示，从而提升了下载的速度，并且也精减了网页代码，使浏览器解释的速度变快。

如果你想要这样的效果，那就试试用CSS来布局吧

scrapy-redis 和 scrapy 有什么区别

scrapy 是一个通用的爬虫框架，其功能比较完善，可以帮你迅速的写一个简单爬虫，并且跑起来。

scrapy-redis是为了更方便地实现scrapy分布式爬取，而提供了一些以redis为基础的组件（注意，scrapy-redis只是一些组件，而不是一个完整的框架）。

可以这么认为，scrapy是一工厂，能够出产你要的spider。

而scrapy-redis是其他厂商为了帮助scrapy工厂更好的实现某些功能而制造了一些设备，用于替换scrapy工厂的原设备。