北大青鸟：你需要的python爬虫笔记(4)

# page.add_header('User-Agent', 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36')

headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87

Safari/537.36'}

page = request.Request(url, headers=headers)

page_info = request.urlopen(page).read().decode('utf-8')

print(page_info)

可以通过add_header(key, value) 或者直接以参数的形式和URL一起请求访问，urllib.request.Request()

urllib.request.Request(url, data=None, headers={},

origin_req_host=None, unverifiable=False, method=None)

三爬虫利器Beautiful Soup

Beautiful Soup是一个可以从HTML或XML文件中提取数据的

Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,

修改文档的方式.

百度搜索“77cn”或“免费范文网”即可找到本站免费阅读全部范文。收藏本站方便下次阅读，免费范文网，提供经典小说教育文库北大青鸟：你需要的python爬虫笔记(4)在线全文阅读。