Python爬虫入门到实战教程_从基础到进阶完整讲解

Python 爬虫入门关键在于掌握 requests+BeautifulSoup 处理静态页面，动态内容则用 Ajax 分析或 Selenium；需注意反爬策略、请求规范及编码问题。

Python 爬虫并不难上手，关键在于理解请求 - 响应机制、HTML 结构和数据提取逻辑。掌握 requests + BeautifulSoup 组合，再配合少量正则或 re 模块，就能应对大多数静态页面抓取需求；遇到动态加载内容时，再引入 Selenium 或分析 Ajax 接口即可。

一、环境准备与第一个爬虫

安装核心库只需两条命令：

• pip install requests beautifulsoup4（基础抓取 + 解析）
• pip install lxml（可选，提升 BeautifulSoup 解析速度）

写一个获取网页标题的小例子：

import requests from bs4 import BeautifulSoup 
url = "https://www.php.cn/link/1536687004241eb9faeee0e227b58c60" res = requests.get(url) res.raise_for_status()  # 检查请求是否成功 soup = BeautifulSoup(res.text, "lxml") title = soup.title.string.strip() print(title)  # 输出：Herman Melville - Moby-Dick

二、精准提取网页数据的常用方法

网页中真正需要的数据往往藏在特定标签、属性或层级里。掌握以下技巧能大幅提高提取准确率：

立即学习 “Python 免费学习笔记（深入）”；

• 用 soup.find(“tag”, {“attr”: “value”}) 定位唯一元素，比如 soup.find("div", class_="content")
• 用 soup.select(“css_selector”) 批量提取，如 soup.select("a[href^='https']") 获取所有外链
• 对文本内容做清洗：用 .get_text(strip=True) 去空格换行，避免 nt 干扰
• 提取属性值用 elem.get("href") 或 elem["href"]（后者要求属性一定存在）

三、绕过简单反爬与规范请求行为

很多网站会检查 User-Agent 或拒绝无头请求。添加基础 headers 就能解决大部分 403 问题：

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" } res = requests.get(url, headers=headers)

其他实用建议：

• 加 time.sleep(1) 控制请求频率，尊重 robots.txt 和网站运营规则
• 用 session = requests.Session() 复用连接，适合多页登录或带 Cookie 场景
• 遇到编码乱码，先看 res.encoding，再手动设为 res.encoding = "utf-8" 或用 res.content.decode("gbk")

四、处理动态渲染页面的两种思路

当页面内容由 JavaScript 渲染（如滚动加载、点击展开），requests 拿不到真实数据，这时有两个主流方案：

• 分析 Ajax 接口 ：打开浏览器开发者工具（F12）→ Network → 切到 XHR，刷新页面，找返回 JSON 的请求地址，直接 requests 调用它
• 用 Selenium 模拟浏览器 ：适合复杂交互，但启动慢、资源占用高。简单示例：

  from selenium import webdriver
     driver = webdriver.Chrome()
     driver.get(url)
     title = driver.title
     driver.quit()

优先尝试接口分析，效率高、稳定性好；Selenium 留作兜底手段。