处理大文件应避免一次性加载，优先逐行读取（for line in file_obj），其次分块读取二进制内容；写入宜批量缓冲并及时刷新；善用 csv、gzip、shutil 等标准库优化 IO。
处理大文件时，核心是避免一次性把全部内容加载到内存。Python 默认的 read() 或readlines()在 GB 级文件上极易导致内存溢出。关键思路是：流式读取、分块处理、及时释放、按需写入。
逐行读取，不加载全文
用 for line in file_obj: 最省内存，Python 内部做了缓冲优化，比 readline() 更简洁可靠。
- ✅ 正确写法：with open(“huge.log”, “r”, encoding=”utf-8″) as f:
for line in f:
if “ERROR” in line:
process_error(line) - ❌ 避免：
f.readlines()（全读进列表）、f.read()（全读成字符串）
按固定大小分块读取二进制内容
适合处理视频、日志压缩包、数据库导出文件等非文本或超长行场景。每次只读几 MB，可控且稳定。
- 设置合理块大小（如 8192字节）：chunk_size = 8192
with open(“data.bin”, “rb”) as f:
while True:
chunk = f.read(chunk_size)
if not chunk:
break
handle_chunk(chunk) - 注意：文本模式下分块可能切开一行，如需完整行，优先用逐行读；若必须分块解析，需手动拼接末尾不完整行
高效写入：批量 + 缓冲 + 及时刷新
频繁调用 write() 会产生大量 I / O 开销。合并小写入、利用系统缓冲、必要时手动 flush() 更稳。
立即学习“Python 免费学习笔记（深入）”；
- 写入前先收集结果（如列表），再用
writelines()一次写入：results = []
for item in process_large_data():
results.append(f”{item.id},{item.value}n”)
with open(“output.csv“, “w”, encoding=”utf-8″) as f:
f.writelines(results) - 对实时性要求高的场景（如日志），打开文件时加
buffering=1启用行缓冲，或写完后调用f.flush()
借助 标准库 提升效率
不用造轮子。内置模块已针对大文件优化：
- csv 模块 ：用
csv.reader(f)逐行解析，不加载整表；写入用csv.writer(f).writerows(data) - gzip/bz2：直接读写压缩文件，节省磁盘 IO：
import gzip; with gzip.open("log.gz", "rt") as f: - shutil.copyfileobj()：高效复制大文件（如备份），底层用系统级缓冲：with open(“src.dat”, “rb”) as src, open(“dst.dat”, “wb”) as dst:
shutil.copyfileobj(src, dst, length=1024*1024)
基本上就这些。不复杂但容易忽略——关键是养成“不贪心读、不盲目写”的习惯。文件越大，越要信任 Python 的迭代协议和系统缓冲机制。
