pip install beautifulsoup4 lxml from bs4 import BeautifulSoup html = '<div class="item"><h2 class="title">Python入门</h2><p>作者：小明</p></div>' soup = BeautifulSoup(html, "lxml") # 用 lxml 解析器，比 html.parser 快 # find：找第一个匹配的 title = soup.find("h2", class_="title") print(title.text) # Python入门 # find_all：找所有 for p in soup.find_all("p"): print(p.text) # CSS 选择器 select：更灵活 soup.select("div.item h2.title") # 后代选择器 soup.select("a[href='xxx']") # 属性选择器

# 从一个标签出发，往上/下/旁边走 soup.find("a").parent # 父标签 soup.find("div").contents # 直接子节点列表（含文本节点） soup.find("div").children # 子节点迭代器 soup.find("div").descendants # 所有子孙 elem.find_next_sibling() # 下一个兄弟 elem.find_previous_sibling() # 上一个兄弟 # decompose() 删标签，extract() 摘标签 soup.find("script").decompose() # 把 script 删掉

from lxml import etree html = '<div><ul><li>A</li><li>B</li></ul></div>' tree = etree.HTML(html) # // 所有子孙，@ 属性，text() 文本，[] 谓语 items = tree.xpath("//li/text()") print(items) # ['A', 'B'] titles = tree.xpath("//div[@class='item']/h2/text()") links = tree.xpath("//a/@href") # 取属性

import re text = "电话：13812345678，备用：13987654321" # findall：找所有匹配 phones = re.findall(r"1\d{10}", text) print(phones) # ['13812345678', '13987654321'] # search：找第一个 m = re.search(r"(\d{3})-(\d{4})", "电话 021-1234") if m: print(m.group(1), m.group(2)) # 021 1234 # 常用元字符：.任意 *重复0+ +重复1+ ?0或1 []字符集 ()分组 \d数字 \w字母数字 \s空白 # 贪婪 vs 非贪婪：.*? 比 .* 少匹配，爬虫里几乎都用 .*?

import requests, json # 很多网站数据藏在 JSON 接口里，比 HTML 好爬多了 resp = requests.get("https://api.example.com/news") data = resp.json() # 直接转 Python dict/list for item in data["articles"]: print(item["title"], item["url"])

# news_spider.py —— BS4 + lxml 解析新闻列表 import requests from bs4 import BeautifulSoup headers = {"User-Agent": "Mozilla/5.0 ..."} resp = requests.get("https://news.example.com/", headers=headers) soup = BeautifulSoup(resp.text, "lxml") articles = [] for item in soup.select(".news-item"): title = item.select_one(".title a").text.strip() link = item.select_one(".title a")["href"] date = item.select_one(".date").text summary = item.select_one(".summary").text.strip() articles.append({"title": title, "link": link, "date": date, "summary": summary}) for a in articles: print(f"{a['date']} {a['title']}")