爬虫是指通过编程自动从网页上获取信息的技术.想象你平时打开网页,右键点击 “查看源代码”,那些你看到的HTML代码就是网页的结构,而爬虫就像一位帮你阅读这些网页内容的“机器人”.
本文将详细讲解如何从零开始编写一个Python爬虫,即使是完全没接触过编程的朋友也能理解.
这里插播一条粉丝福利，如果你正在学习Python或者有计划学习Python，想要突破自我，对未来十分迷茫的，可以点击这里获取最新的Python学习资料和学习路线规划（免费分享，记得关注）
一、爬虫的基本流程
发送请求：爬虫向目标网页发送请求,获取网页内容.
解析网页：从返回的网页内容中提取你需要的信息.
保存数据：将提取到的信息保存到文件或数据库中,以便后续分析.
二、常用爬虫库
在Python中,有两个非常流行的库用于爬虫开发：
requests：用于发送网络请求,获取网页内容.
BeautifulSoup：用于解析网页内容,提取需要的数据.
1. 安装库
首先,你需要安装这两个库.在命令行中执行以下命令：
pip install requests beautifulsoup4 -i https://pypi.tuna.tsinghua.edu.cn/simple三、简单爬虫示例
接下来,我们会编写一个简单的爬虫,从一个网页上获取数据.
1. 获取网页内容
第一步是使用 requests 库来获取网页的内容.我们以获取百度首页为例.
import requests# 发送请求获取网页内容url = 'https://www.baidu.com'response = requests.get(url)# 打印网页内容print(response.text)解释：
requests.get(url) 用于向指定网址发送请求并获取网页内容.
response.text 返回网页的HTML代码.
运行后,你会看到大量的HTML代码,这就是百度首页的内容.
2. 解析网页内容
获取网页内容后,我们需要用 BeautifulSoup 库来解析HTML,提取我们需要的信息.接下来我们解析百度首页的标题.
from bs4 import BeautifulSoup# 解析网页内容soup = BeautifulSoup(response.text, 'html.parser')# 获取标题title = soup.title.textprint('网页标题:', title)解释：
BeautifulSoup(response.text, 'html.parser') 用于解析HTML内容.
soup.title.text 返回网页的标题.
输出：
makefile网页标题: 百度一下,你就知道3. 提取更多信息
让我们继续提取网页中的链接（<a>标签中的 href 属性）.这非常有用,例如你想抓取某个网站上的所有文章链接.
# 获取所有的<a>标签links = soup.find_all('a')# 打印所有链接for link in links: href = link.get('href') print(href)解释：
soup.find_all('a') 用于获取网页中的所有链接.
link.get('href') 获取每个链接的 href 属性,也就是网址.
四、爬虫的分类
1. 简单爬虫（静态网页）
如果网页是静态的,所有的数据直接在HTML代码中呈现,这种网页最容易爬取.以上示例就是一个典型的静态网页爬虫.
2. 动态爬虫（处理JavaScript生成的内容）
有些网页的数据不是直接在HTML中,而是通过JavaScript动态生成的.这类网页需要更复杂的处理方式,通常我们会使用 Selenium 这样的库来模拟浏览器操作.
安装 Selenium:
pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simpleSelenium 可以像真实的用户一样与网页交互,甚至可以点击按钮、滚动页面等.比如要爬取动态生成的数据,我们可以使用Selenium来加载网页.
示例：
from selenium import webdriver# 设置浏览器驱动路径driver = webdriver.Chrome()# 打开网页driver.get('https://www.example.com')# 获取网页标题print(driver.title)# 关闭浏览器driver.quit()3. 爬虫框架（Scrapy）
当你需要大规模爬取数据时,可以使用专门的爬虫框架——Scrapy.Scrapy 是一个强大的爬虫框架,具有异步、高效的特点,适合用于构建复杂的爬虫.
安装 Scrapy:
pip install scrapy -i https://pypi.tuna.tsinghua.edu.cn/simple五、爬虫常见问题及解决方案
1. 网页反爬机制
有些网站不允许爬虫访问,通常会通过检测请求头或IP地址来防止爬虫访问.为了绕过这种限制,我们可以伪装成正常用户.
解决方法：添加请求头
headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36'}response = requests.get(url, headers=headers)2. 延迟访问
频繁访问某个网站可能会触发反爬机制,我们可以通过设置延迟避免这种问题.
import time# 延迟2秒后发送下一个请求time.sleep(2)3. 代理IP
如果网站通过检测IP地址限制访问,我们可以使用代理IP.
proxies = { 'http': 'http://10.10.1.10:3128', 'https': 'https://10.10.1.10:1080',}response = requests.get(url, proxies=proxies)六、保存数据
当我们提取到需要的信息后,通常需要将数据保存起来,常见的保存方式有保存到CSV文件或数据库.
1. 保存到CSV文件
import csv# 保存数据到CSV文件with open('data.csv', 'w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow(['标题', '链接']) # 写入表头 for link in links: writer.writerow([link.text, link.get('href')])2. 保存到数据库
可以使用 SQLite 或其他数据库,将数据保存到数据库中.
import sqlite3# 连接数据库（如果不存在会自动创建）conn = sqlite3.connect('data.db')cursor = conn.cursor()# 创建表cursor.execute('CREATE TABLE IF NOT EXISTS links (title TEXT, href TEXT)')# 插入数据for link in links: cursor.execute('INSERT INTO links (title, href) VALUES (?, ?)', (link.text, link.get('href')))# 提交事务并关闭连接conn.commit()conn.close()七、总结
爬虫的基本流程：发送请求,解析网页,提取并保存数据.
常用库：requests 用于发送请求,BeautifulSoup 用于解析HTML.
进阶技术：处理动态网页需要用到 Selenium,而大规模爬取可以使用 Scrapy 框架.
应对反爬：通过伪装请求头、设置延迟以及使用代理IP等方式绕过反爬机制.
最后，我精心筹备了一份全面的Python学习大礼包，完全免费分享给每一位渴望成长、希望突破自我现状却略感迷茫的朋友。无论您是编程新手还是希望深化技能的开发者，都欢迎加入我们的学习之旅，共同交流进步！
? 学习大礼包包含内容：
Python全领域学习路线图：一目了然，指引您从基础到进阶，再到专业领域的每一步学习路径，明确各方向的核心知识点。
超百节Python精品视频课程：涵盖Python编程的必备基础知识、高效爬虫技术、以及深入的数据分析技能，让您技能全面升级。
实战案例集锦：精选超过100个实战项目案例，从理论到实践，让您在解决实际问题的过程中，深化理解，提升编程能力。
华为独家Python漫画教程：创新学习方式，以轻松幽默的漫画形式，让您随时随地，利用碎片时间也能高效学习Python。
互联网企业Python面试真题集：精选历年知名互联网企业面试真题，助您提前备战，面试准备更充分，职场晋升更顺利。
? 立即领取方式：只需【点击这里】，即刻解锁您的Python学习新篇章！让我们携手并进，在编程的海洋里探索无限可能
