python爬取页面下载并保存到文件中 使用requests
实列说明:
python爬取页面下载并保存到文件中。requests的使用
做法:
1、定义要爬取的URL
2、获取请求状态码
3、若200状态码则表示爬取成功,保存到本地文件
实列代码:
import requests # 定义请求url url = "https://www.baidu.com" # 发起get请求 res = requests.get(url=url) # 获取相应状态码 code = res.status_code print(code) # 相应成功后把相应的内容写入文件中 if code == 200: # encoding='utf-8'在windows下面,新文件的默认编码是gbk,这样的话,python解释器会用gbk编码去解析我们的网络数据流txt # txt此时已经是decode过的unicode编码 with open('./test.html', 'w', encoding='utf-8') as fp: fp.write(res.text)