如何使用Golang实现文件压缩_Golang compress/gzip压缩示例

7次阅读

gzip.Writer 写入后必须调用 Close 才能完成压缩并写入 CRC 等尾部数据,否则文件为空或损坏;读取。gz 文件需用 gzip.NewReader 解包,不可直接 os.Open。

如何使用 Golang 实现文件压缩_Golang compress/gzip 压缩示例

gzip.Writer 写入时必须调用 Close 才能完成压缩

不调用 Close() 会导致输出文件为空或损坏,因为 gzip.Writer 内部缓冲区未刷新、压缩尾部(如 CRC 和长度)未写入。常见现象是生成的 .gz 文件无法 解压gunzip -tunexpected end of file

正确流程是:打开目标文件 → 构造 gzip.NewWriter → 写入原始数据 → 必须显式调用 w.Close() → 关闭底层文件。

file, _ := os.Create("data.txt.gz") defer file.Close() gz := gzip.NewWriter(file) defer gz.Close() // 这行不能省;但注意:此处 defer 在函数返回时才执行,若需立即落盘应手动调用  _, _ = gz.Write([]byte("hello world")) gz.Close() // 确保压缩元数据写入

compress/gzip 不支持直接压缩目录,需自行遍历

compress/gzip 只处理单个 io.Writer 流,没有内置 zip 或 tar 封装能力。想压缩整个文件夹,得组合 filepath.Walk + archive/tar + gzip.Writer

  • 单独用 gzip 只能压缩一个文件(如把 log.txt 变成 log.txt.gz
  • 要打包多个文件或保留路径结构,必须先用 tar.Writer 打包为流,再套一层 gzip.Writer
  • 注意:tar 本身不压缩,gzip 不打包 —— 二者职责分明,缺一不可

设置 gzip.Level 影响压缩率和 CPU 占用

gzip.NewWriterLevel 允许指定压缩级别,范围是 gzip.NoCompression(0)到 gzip.BestCompression(9)。默认是 gzip.DefaultCompression(6)。

立即学习go 语言免费学习笔记(深入)”;

  • gzip.NoCompression:几乎不压缩,速度最快,适合实时日志转发场景
  • gzip.BestSpeed(1):侧重吞吐,压缩率低但写入延迟小
  • gzip.BestCompression(9):CPU 消耗高,适合离线归档
  • 生产中建议用 gzip.BestSpeedgzip.DefaultCompression,避免阻塞 I/O 线程
gz, _ := gzip.NewWriterLevel(file, gzip.BestSpeed)

读取 .gz 文件要用 gzip.NewReader,不是 os.Open 直接读

直接 os.Open 读取 .gz 文件得到的是压缩后的二进制流,内容不可读。必须用 gzip.NewReader 解包后再读原始数据。

常见错误:忘记调用 g.Reader.Close()(虽然多数情况不影响,但资源未释放),或对已关闭的 gzip.Reader 重复读取导致 io.ErrUnexpectedEOF

file, _ := os.Open("data.txt.gz") defer file.Close()  g, _ := gzip.NewReader(file) defer g.Close() // 必须调用,否则底层 reader 泄露  data, _ := io.ReadAll(g) // 这里读到的是解压后的内容

gzip 的核心就两件事:写入时封包要 Close,读取时解包要 NewReader。其它所有“压缩目录”“高压缩率”“流式处理”都是在这两个动作上叠加的封装逻辑。

text=ZqhQzanResources