我们在爬虫时候 经常要模仿浏览器访问 这也就要我们找到浏览器的 header配置
1.在网页右击 点击 【检查】
检查.png
2.点击【Network】
network.png
3.找到 name下随意一行
name.png
4. 会出现右侧 Headers 下滑找到User-Agent
user.png
5.组合
header = {
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_6) AppleWebKit/537.39 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.39'}
6.requests.get(url, headers=header) 就能模仿浏览器访问网站