Request、Response

Request

Request对象在我们写爬虫发送请求的时候调用，参数如下：

url: 就是需要请求的url
callback: 指定该请求返回的Response由那个函数来处理。
method: 请求方法，默认GET方法，可设置为"GET", "POST", "PUT"等，且保证字符串大写
headers: 请求时，包含的头文件。一般不需要。内容一般如下：
- Host: media.readthedocs.org
- User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0
- Accept: text/css,/;q=0.1
- Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3
- Accept-Encoding: gzip, deflate
- Referer: http://scrapy-chs.readthedocs.org/zh_CN/0.24/
- Cookie: _ga=GA1.2.1612165614.1415584110;
- Connection: keep-alive
- If-Modified-Since: Mon, 25 Aug 2014 21:59:35
- GMT Cache-Control: max-age=0

meta: 在不同的解析函数之间传递数据使用的。字典dict型

# -*- coding: utf-8 -*-
import scrapy
from TencentHR.items import TencenthrItem

class HrSpider(scrapy.Spider):
    name = 'hr'
    # allowed_domains = ['ddd']
    start_urls = ['https://hr.tencent.com/position.php']

    def parse(self, response):
        trs = response.xpath('//table[@class="tablelist"]/tr[@class="odd"] | //table[@class="tablelist"]/tr[@class="even"]')
        # print(len(trs))
        for tr in trs:
            items = TencenthrItem()
            detail_url = tr.xpath('./td/a/@href').extract()[0]
            items['position_name'] = tr.xpath('./td/a/text()').extract()[0]
            try:
                items['position_type'] = tr.xpath('./td[2]/text()').extract()[0]
            except:
                print("{}职位没有类型,url为{}".format(items['position_name'], "https://hr.tencent.com/" + detail_url))
                items['position_type'] = None
            items['position_num'] = tr.xpath('./td[3]/text()').extract()[0]
            items['publish_time'] = tr.xpath('./td[5]/text()').extract()[0]
            items['work_addr'] = tr.xpath('./td[4]/text()').extract()[0]

            detail_url = 'https://hr.tencent.com/' + detail_url
            yield scrapy.Request(detail_url, 
                                 comallback=self.parse_detail, 
                                 meta={"items":items}
                                 )
            
        next_url = response.xpath('//a[text()="下一页"]/@href').extract_first()
        next_url = 'https://hr.tencent.com/' + next_url
        print(next_url)
        yield scrapy.Request(next_url, 
                             callback=self.parse
                            )

    def parse_detail(self,response):
        items = response.meta['items']
        items["work_duty"] = response.xpath('//table[@class="tablelist textl"]/tr[3]//li/text()').extract()
        items["work_require"] =response.xpath('//table[@class="tablelist textl"]/tr[4]//li/text()').extract()
        yield items

encoding: 使用默认的 'utf-8' 就行。
dont_filter: 表明该请求不由调度器过滤。这是当你想使用多次执行相同的请求,忽略重复的过滤器。默认为False。
errback: 指定错误处理函数

Response

Response属性和可以调用的方法

meta: 从其他解析函数传递过来的meta属性，可以保持多个解析函数之间的数据连接
encoding: 返回当前字符串编码和编码的格式
text: 返回Unicode字符串
body: 返回bytes字符串
xpath: 可以调用xpath方法解析数据
css: 调用css选择器解析数据

发送POST请求

当我们需要发送Post请求的时候，就调用Request中的子类FormRequest 来实现，如果需要在爬虫一开始的时候就发送post请求，那么需要在爬虫类中重写 start_requests(self) 方法，并且不再调用start_urls中的url

案例登录豆瓣网

# -*- coding: utf-8 -*-
import scrapy

class TestSpider(scrapy.Spider):
    name = 'login'
    allowed_domains = ['www.douban.com']
    # start_urls = ['http://www.baidu.com/']

    def start_requests(self):
        login_url = "https://accounts.douban.com/j/mobile/login/basic"
        headers = {
            'Referer': 'https://accounts.douban.com/passport/login_popup?login_source=anony',
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'
        }
        formdata = {
            'ck': '',
            'name': 用户名,
            'password': 密码,
            'remember': 'true',
            'ticket': ''
        }
        request = scrapy.FormRequest(login_url, callback=self.parse, formdata=formdata, headers=headers)
        yield request

    def parse(self, response):
        print(response.text)

返回结果，可以看到登录成功了

{"status":"success","message":"success","description":"处理成功","payload":{"account_info":{"name":"仅此而已","weixin_binded":false,"phone":"手机号","avatar":{"medium":"https://img3.doubanio.com\/icon\/user_large.jpg","median":"https://img1.doubanio.com\/icon\/user_normal.jpg","large":"https://img3.doubanio.com\/icon\/user_large.jpg","raw":"https://img3.doubanio.com\/icon\/user_large.jpg","small":"https://img1.doubanio.com\/icon\/user_normal.jpg","icon":"https://img3.doubanio.com\/pics\/icon\/user_icon.jpg"},"id":"193317985","uid":"193317985"}}}

登录成功之后请求个人主页，可以看到我们可以访问登录之后的页面了

# -*- coding: utf-8 -*-

import scrapy

class TestSpider(scrapy.Spider):

    name = 'login'

    allowed_domains = ['www.douban.com']

    # start_urls = ['http://www.baidu.com/']

    def start_requests(self):

        login_url = "https://accounts.douban.com/j/mobile/login/basic"

        headers = {

            'Referer': 'https://accounts.douban.com/passport/login_popup?login_source=anony',

            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.103 Safari/537.36'

        }

        formdata = {

            'ck': '',

            'name': 用户名,

            'password': 密码,

            'remember': 'true',

            'ticket': ''

        }

        request = scrapy.FormRequest(login_url, callback=self.parse, formdata=formdata, headers=headers)

        yield request

    def parse(self, response):

        print(response.text)

        # 登录成功之后访问个人主页

        url = "https://www.douban.com/people/193317985/"

        yield scrapy.Request(url=url, callback=self.parse_detail)

    def parse_detail(self, response):

        print(response.text)

秒客网

Request、Response

Request

Request对象在我们写爬虫发送请求的时候调用，参数如下：

Response

Response属性和可以调用的方法

发送POST请求

相关文章