request是python爬虫的一个基本的库,功能十分齐全。
下面对一些常用的方法进行说明:
(response----指接受返回的响应)
requests.get(url,params,headers)
url:发送请求的链接。
params:携带的参数。
headers:头部信息。
requests.post(url,data,headers)
url:发送请求的链接。
data:携带的json参数。
headers:头部信息。
response.raise_for_status
如果返回的状态码不是200,通过此方法能够抛出异常。
response.encoding
返回信息的编码格式。
response.apparent_encoding
解析返回数据是什么编码格式,一般使用方式
response.encoding = response.apparent_encoding。
通常用在爬取中文的网页,防止乱码。
response.json()
获取返回回来的json数据。
response.text
获取返回回来的html文本信息。
response.content
Html响应的二进制信息。