大量内存占用会降低无关代码的执行速度

亲爱的编程学习爱好者，如果你点开了这篇文章，说明你对《大量内存占用会降低无关代码的执行速度》很感兴趣。本篇文章就来给大家详细解析一下，主要介绍一下，希望所有认真读完的童鞋们，都有实质性的提高。

我正在维护一个 Go 项目的代码，该项目读取和写入大量数据，并且已经成功完成了一段时间。最近，我做了一个更改：在程序开头将一个包含约 200 万条记录的 CSV 文件加载到带有结构值的映射中。该映射仅在 B 部分中使用，但首先执行 A 部分。第一部分的运行速度明显比以前慢（处理时间增加了四倍）。这很奇怪，因为这部分逻辑没有改变。 我花了一周的时间试图解释这是如何发生的。以下是我采取的步骤（当我提到性能时，我总是指A部分，其中不包括将数据加载到内存中的时间，实际上与之无关）：

• 该程序在 Docker 容器内的服务器上运行。但我已经能够在没有容器的情况下在笔记本电脑上重现它：与在没有加载到内存中的文件中的数据的情况下运行它时相比，性能确实有所下降。
• 服务器拥有大量 RAM。尽管加载文件时显然会使用更多内存，但没有达到任何限制。我也没有看到内存使用和磁盘 I/O 出现峰值或其他奇怪的模式。对于这些检查，我使用了 pprof、htop 和 iotop。
• 当加载数据但随后将地图设置为 nil 时，性能再次正常。
• 在切片而不是映射中加载数据可将性能降低从 4 倍降低到 2 倍（但内存使用量与映射时大致相同）。
• 这让我想知道地图/切片是否在 A 部分的某个地方被访问，尽管它不应该被访问。该映射存储在结构类型的字段中。我检查过，这个结构总是通过指针传递（包括所有 goroutine）。将其设为全局变量而不是指针字段并不能解决问题。
• 标准库之外有一个依赖项。问题是由库引起的吗？它强制一些垃圾收集。禁用此功能不会产生任何影响。我发现了另一个不相关的类似库，使用这个库作为替代可以提高性能，但加载文件数据时仍然需要更长的时间。

这里我绘制了内存中包含和不包含数据的指标：

什么可能导致这种影响或者我如何找到它？

解决方案

所以如果我做对了，你的流程看起来像这样：

1. 将 200 万行从 CSV 读取到映射 -> 结构
2. 运行 A 部分（不需要 CSV 中的数据）
3. 使用 CSV 中的数据运行 B 部分

为什么要在需要数据之前读取数据，这是第一个问题，但这也许不是重点。

实际上，垃圾收集器可能会例行访问映射中的 200 万个结构体。根据 GOGC 的值，随着分配的内存量增加，垃圾收集器的起搏器组件可能会更频繁地启动。因为这个映射是留作以后使用的，所以 GC 没有什么可做的，但它无论如何都会占用检查数据的周期。您可以采取多种措施来验证并解释这种行为 - 所有这些措施都应该可以帮助您排除/确认垃圾收集是否会减慢您的速度。

• 分析代码（显然，对于诊断很重要）IIRC，CPU 分析更容易显示 GC 干预
• 尝试禁用垃圾回收 (debug.SetGCPercent(-1))
• 将地图存储在 sync.Pool 中。这种类型专为您保留手动管理的内容而设计，并移出常规 GC 周期。
• 仅在需要时读取 CSV，不要在“A 部分”之前读取它
• 流式传输文件，而不是在巨大的地图中读取它。 200 万行，将所有这些读取到内存中而不是逐行读取有什么价值？

终于介绍完啦！小伙伴们，这篇关于《大量内存占用会降低无关代码的执行速度》的介绍应该让你收获多多了吧！欢迎大家收藏或分享给更多需要学习的朋友吧~编程网公众号也会发布golang相关知识，快来关注吧！