flink 内存配置（一）：设置Flink进程内存
flink 内存配置（一）：设置Flink进程内存
flink 内存配置（二）：设置TaskManager内存
flink 内存配置（三）：设置JobManager内存
flink 内存配置（四）：内存调优和问题处理
flink 内存配置（五）：网络缓存调优
Apache Flink通过严格控制各个组件的内存使用，在JVM之上提供了高效的工作负载。虽然Flink社区努力为所有配置提供合理的默认值，但由于用户部署在Flink上的应用范围很广，这并不总是可行的。为了给用户提供最大的生产价值，Flink支持对集群内的内存分配进行高层和细粒度的调优。
下面进一步描述的内存配置适用于1.10版本之后的TaskManager进程和1.11版本之后的JobManager进程。
1. 配置 Total Memory
Flink JVM进程的总进程内存（Total Process Memory）由Flink应用程序消耗的内存（Flink总内存即Total Flink Memory）和运行该进程的JVM消耗的内存组成。Flink总内存消耗包括JVM堆和非堆（直接内存或本地内存）内存的使用。如下图：
在Flink中设置内存最简单的方法是配置以下两个选项中的一个：
| Component | Option for TaskManager | Option for JobManager |
| Total Flink memory | taskmanager.memory.flink.size | jobmanager.memory.flink.size |
| Total process memory | taskmanager.memory.process.size | jobmanager.memory.process.size |
其余的内存组件将根据默认值或额外配置的选项自动调整。请参阅后面章节如何设置TaskManager和JobManager内存的其他组件。
对于本来就需要声明给Flink占用多少内存的standalone deployments部署方式来说，配置Flink总内存更合适。Flink总内存分为JVM堆内存和堆外内存。原因在于：总进程内存无关紧要，因为它也不会受控于yarn或k8s。
而对于容器化部署方式（yarn或k8s）来说，配置Flink JVM进程的总进程内存是更合适，他的大小对应于容器（container）的大小。
设置内存的另一种方法是配置Flink总内存里的各个具体组件的内存大小。具体配置见 flink 内存配置（二）和flink 内存配置（三）.
上面一共说了3种配置方法：1是配置Total process memory；2是配置Total Flink memory；3是具体配置 Total Flink memory里各个组件的具体内存大小。即如下，必须显式的配置以上三种里的一种，不然flink就会启动失败。当然也不建议同时配置Total process memory和Total Flink memory，容易引发内存配置的冲突，而导致启动失败，配置其他内存组件也需要谨慎，因为它可能产生进一步的配置冲突。
| for TaskManager: | for JobManager: |
| taskmanager.memory.flink.size | jobmanager.memory.flink.size |
| taskmanager.memory.process.size | jobmanager.memory.process.size |
| taskmanager.memory.task.heap.size and taskmanager.memory.managed.size | jobmanager.memory.heap.size |
2. JVM参数
flink提供了以下jvm参数配置：
| JVM Arguments | Value for TaskManager | Value for JobManager |
| -Xmx and -Xms | Framework + Task Heap Memory | JVM Heap Memory (*) |
| -XX:MaxDirectMemorySize (always added only for TaskManager, see note for JobManager) | Framework + Task Off-heap (**) + Network Memory | Off-heap Memory (**),(***) |
| -XX:MaxMetaspaceSize | JVM Metaspace | JVM Metaspace |
说明：
（*）请记住，根据所使用的GC算法，您可能无法使用全部堆内存。有些GC算法会为自己分配一定数量的堆内存。这将导致堆监控指标返回不同的最大值。
（**）请注意，用户代码中的本地非直接内存使用也可以作为堆外内存的一部分。
（***）只有设置了相应的 jobmanager.memory.enable-jvm-direct-memory-limit 选项，才会为 JobManager 进程添加 JVM 直接内存限制。
3. 有比例限制的组件
本节将介绍一些选项的配置细节，这些选项可以是其他内存大小的一部分比值（即乘以fraction参数），同时受到 最小 - 最大范围 的限制，例如：
- JVM Overhead 可以是总进程内存的一部分。
- Network Memory可以是 Flink 总内存的一部分（仅适用于 TaskManager）。
这些组件的大小必须在最大值和最小值之间，否则Flink启动将失败。最大值和最小值有默认值，或者可以通过相应的配置选项显式设置。例如，如果你只设置以下内存选项：
- total Process memory = 1000MB,
- JVM Overhead min = 64MB,
- JVM Overhead max = 128MB,
- JVM Overhead fraction = 0.1
然后JVM Overhead值就是 1000MB x 0.1 = 100MB， 在64-128MB范围之间。
注意，如果你配置相同的最大值和最小值，它会有效地固定大小为该值。
如果不显式配置组件内存，Flink会根据总内存计算出内存大小。计算值由相应的min/max选项限制。例如，如果只设置了以下内存选项：
- total Process memory = 1000MB,
- JVM Overhead min = 128MB,
- JVM Overhead max = 256MB,
- JVM Overhead fraction = 0.1
那么 JVM Overhead 将是128MB，因为由fraction比例得出的大小是100MB，小于最小值。
如果总内存及其其他组成部分的大小已经定义，那么这个比例也可能被忽略。在这种情况下，JVM Overhead就是总内存的剩余部分。派生值仍然必须在其最小/最大范围内，否则配置将失败。例如，假设只设置了以下内存选项。
- total Process memory = 1000MB,
- task heap = 100MB, (similar example can be for JVM Heap in the JobManager)
- JVM Overhead min = 64MB,
- JVM Overhead max = 256MB,
- JVM Overhead fraction = 0.1
进程总内存的所有其他组件都有默认值，包括默认 Managed Memory 分数（或 JobManager 中的 Off-heap Memory）。那么JVM Overhead 不是这个部分（1000MB x 0.1 = 100MB），而是整个进程内存的剩余部分，这些部分要么在64-256MB范围内，要么失败。
参考网址：
https://nightlies.apache.org/flink/flink-docs-release-1.20/docs/deployment/memory/mem_setup/