3.7　本章小结

本章作为Python爬虫核心技术篇的开篇，介绍了在Python爬虫过程中所需的常用库，包括标准库以及第三方库。这些库是我们构造网络请求、解析网页的必备工具。首先简单介绍了Python标准库以及第三方库的安装与使用方法；接着介绍了HTTP请求库urllib，重点介绍urllib库中的request模块；其次介绍了更强大的第三方HTTP请求库request，以及request库的基本和高级使用方法；然后详细介绍了两种解析库，分别是lxml和Beautiful Soup，同时还介绍了XPath语法，最后给出实战案例。