NUMA Memory Policy

NUMA memory policy란?

Linux kernel의 memory policy는 NUMA 또는 emulated NUMA system에서 어느 node로부터 memory를 할당할지 정합니다. Linux는 2.4.?부터 Non-Uniform Memory Access architecture를 지원했고, 현재 형태의 memory-policy 지원은 2004년 5월 무렵 Linux 2.6에 추가되었습니다. 이 문서는 2.6 memory policy의 개념과 API를 설명합니다.

Memory policy는 process 집합이 memory를 할당할 수 있는 node를 관리자가 제한하는 cpuset과 다릅니다. Cpuset은 Documentation/admin-guide/cgroup-v1/cpusets.rst의 administrative mechanism이고, memory policy는 NUMA-aware application용 programming interface입니다. 둘 다 적용되면 cpuset 제한이 우선합니다.

System·task policy scope

Kernel은 가장 일반적인 system default부터 가장 구체적인 scope까지 여러 memory policy 범위를 지원합니다.

System Default Policy는 더 구체적인 scope가 다루지 않는 모든 page allocation을 제어합니다. 정상 가동 중에는 local allocation을 사용하지만 boot 중에는 초기 boot node에 allocation이 몰리지 않도록 충분한 memory가 있는 모든 node에 interleave합니다.

Optional task policy는 해당 task를 대신한 allocation까지 제어하며, 없으면 system default로 fallback합니다. Task 전체 address space에 적용되므로 fork(), CLONE_VM 없는 clone(), exec*()에 상속되어 NUMA를 모르는 child executable에도 parent가 policy를 설정할 수 있습니다.

Multi-threaded task에서는 policy를 설치한 Linux task와 그 뒤 이 thread가 만든 thread에만 적용됩니다. 이미 존재하던 sibling thread는 기존 policy를 유지합니다. 설치 전에 fault된 page도 원래 allocation policy가 정한 node에 그대로 남습니다.

VMA policy

VMA(Virtual Memory Area) policy는 task virtual address space의 특정 range에 mbind()로 설치하며, 그 region을 backing할 page allocation을 제어합니다. 명시적 VMA policy가 없는 region은 task policy, 다시 system default로 fallback합니다.

VMA policy는 anonymous segment의 stack·heap과 MAP_ANONYMOUS region에 적용됩니다. File MAP_SHARED mapping에서는 무시되며 MAP_PRIVATE file mapping에서는 write 시 anonymous page가 생기는 Copy-On-Write 때만 적용됩니다.

Virtual address space를 공유하는 모든 thread는 설치 시점과 관계없이 VMA policy를 공유하고 fork()에도 상속합니다. exec*()는 address space를 버리고 다시 만들기 때문에 상속하지 않아 NUMA-aware application만 VMA policy를 직접 활용할 수 있습니다.

Shared policy

Shared policy는 서로 다른 task address space에 shared mapping된 memory object에 적용됩니다. Application은 object를 mapping한 virtual-address range에 mbind()를 호출하지만, policy는 VMA range attribute가 아니라 shared object 자체에 붙습니다. 따라서 attach한 모든 task와 어떤 task가 할당한 object page든 같은 policy를 따릅니다.

Linux 2.6.22 기준 shared policy는 shmget() 또는 mmap(MAP_ANONYMOUS|MAP_SHARED)으로 만든 shared-memory segment만 지원합니다. 초기 구현 때 hugetlbfs shmem에도 data structure를 넣었지만 당시 lazy allocation을 지원하지 않아 연결되지 않았고, 현재 lazy allocation을 지원해도 shared-policy 구현은 아직 완성되지 않았습니다.

Regular file MAP_SHARED의 page-cache allocation은 mapping range의 VMA policy를 무시합니다. 아직 write되지 않은 private mapping의 backing page를 포함한 shared page-cache page는 task policy가 있으면 그것을, 없으면 system default를 따릅니다.

Shared-policy infrastructure는 object의 부분 range마다 다른 policy를 지원하지만 설치 task의 VMA도 distinct policy range마다 분할합니다. 같은 shared object를 mapping한 task끼리 VMA 구성이 달라질 수 있으며 /proc/<pid>/numa_maps에서 확인할 수 있습니다.

Policy 구성과 Default mode

NUMA memory policy는 mode, optional mode flag, optional node set으로 구성됩니다. Mode는 동작을, flag는 mode 동작의 변형을, node set은 그 동작의 argument를 정합니다. 내부 구현은 reference-counted struct mempolicy입니다.

원문은 네 가지 behavioral mode를 지원한다고 설명하지만, 이어지는 목록에는 기본 네 mode와 MPOL_PREFERRED_MANY, MPOL_WEIGHTED_INTERLEAVE 확장 mode도 포함됩니다.

MPOL_DEFAULT는 API에서만 사용되며 모든 scope에서 내부 NULL policy로 변환됩니다. 기존 non-default policy를 제거하고 다음으로 구체적인 scope로 fallback한다는 뜻입니다. Default task policy는 system default로, default VMA policy는 task policy로 fallback합니다.

Memory policy mode

MPOL_PREFERRED는 struct mempolicy의 preferred_node 하나를 사용합니다. Internal MPOL_F_LOCAL flag가 있으면 preferred_node를 무시하고 allocation CPU가 속한 node부터 시작하는 local allocation으로 해석합니다. Empty nodemask로 local preference를 요청할 수 있지만 이 경우 MPOL_F_STATIC_NODES나 MPOL_F_RELATIVE_NODES를 쓸 수 없습니다.

MPOL_INTERLEAVED에서 anonymous/shared-memory page는 fault address가 속한 segment(VMA)의 page offset을 node 수로 modulo해 node를 고른 뒤 Preferred/local처럼 per-node zonelist를 따릅니다. Page-cache page는 task별 node counter를 사용하고 highest node 뒤 lowest node로 wrap하여 allocation 순서대로 분산합니다. Boot 중 임시 interleaved system default도 이 방식입니다.

MPOL_PREFERRED_MANY는 single node가 아닌 mask에 Preferred를 적용하며 mask의 모든 node가 memory pressure 상태이면 다른 모든 NUMA node로 fallback합니다. MPOL_WEIGHTED_INTERLEAVE는 /sys/kernel/mm/mempolicy/weighted_interleave/의 weight를 사용합니다. 예를 들어 node [0,1] weight가 [5,2]이면 node0의 5 page마다 node1에 2 page를 할당합니다.

MPOL_F_STATIC_NODES

Flag가 없으면 allowed-node set 변경으로 mempolicy를 rebind할 때 Preferred Many mask, Preferred node, Bind·Interleave mask를 새 allowed set에 remap하여 이전에 원하지 않던 node를 사용할 수 있습니다.

MPOL_F_STATIC_NODES가 있으면 user node와 task cpuset allowed node의 intersection에 policy를 적용하고 겹침이 없으면 Default를 사용합니다. 예를 들어 cpuset mems 1-3과 같은 Interleave policy에서 cpuset이 3-5로 바뀌면 flag 없이 3,4,5로 remap하지만 flag가 있으면 공통 node 3에서만 interleave합니다. 공통 node가 없으면 Default입니다.

MPOL_F_RELATIVE_NODES

MPOL_F_RELATIVE_NODES는 user nodemask를 task 또는 VMA allowed-node set에 대한 상대 위치로 해석합니다. Kernel은 원래 user mask를 저장하고 allowed node가 바뀌면 그 원본을 새 set에 상대적으로 remap합니다.

두 flag가 없으면 연속 rebind가 상대 관계를 보존하지 않을 수 있습니다. 예를 들어 user mask 1,3,5가 allowed set 변화로 7-9에 remap된 뒤 원래 allowed set으로 돌아와도 1-3이 될 수 있습니다.

Relative flag에서 user mask의 0,2,4는 allowed set의 첫째·셋째·다섯째 node를 뜻합니다. 새 allowed set 범위 밖 위치는 mask 처음으로 wrap하고 아직 set되지 않은 node를 policy mask에 넣습니다.

예를 들어 cpuset mems 2-5에서 같은 Interleave policy를 relative로 설정한 뒤 mems가 3-7로 바뀌면 node 3,5-7에서 interleave합니다. 이어서 mems가 0,2-3,5로 바뀌면 node 0,2-3,5를 사용합니다.

Application은 현재 cpuset 배치를 무시하고 policy가 관리할 memory-node 수가 N이면 항상 0부터 N-1에 있다고 가정해 nodemask를 준비해야 합니다. Kernel이 시간에 따라 변하는 task cpuset allowed nodes로 remap합니다.

Memory policy reference count

Use/free race를 막기 위해 struct mempolicy에는 atomic reference count가 있습니다. Internal mpol_get()과 mpol_put()이 각각 증가·감소하며, count가 0일 때만 mpol_put()이 mempolicy kmem cache로 structure를 반환합니다.

새 policy는 설치 task가 가진 reference를 나타내는 1로 시작합니다. Policy pointer를 다른 structure에 저장하면 설치가 끝날 때 task reference가 drop될 것이므로 reference를 하나 더 추가합니다.

Runtime usage에서 atomic operation은 CPU와 NUMA node 사이 cache-line bouncing을 일으킬 수 있어 최소화합니다. Usage에는 get_mempolicy() 또는 /proc/<pid>/numa_maps query와 allocation용 mode·node 검사 두 가지가 포함됩니다. MPOL_BIND는 nodemask를 reference로 사용해 부적합 node를 filter하므로 reclaim 중 sleep할 수 있는 전체 allocation process가 usage 범위입니다.

Shared policy는 별도 mmap_lock을 가진 task가 동시에 교체·조회할 수 있어 tree lookup을 spinlock 아래 수행하면서 extra reference를 얻고 사용 뒤 shared policy에만 조건부로 drop합니다.

이 추가 reference와 spinlock tree lookup 때문에 shared policy는 page-allocation path에서 더 비쌉니다. 서로 다른 NUMA node에서 실행되는 task가 shared region을 공유하면 특히 그렇습니다. Shared region이 task/system default로 항상 fallback하게 하거나 region 전체를 prefault한 뒤 lock하면 overhead를 피할 수 있지만 모든 application에 적합하지는 않습니다.

Memory policy API

Linux는 memory policy를 제어하는 네 system call을 지원합니다. 이 API는 calling task, 그 task address space 또는 그 address space에 mapping된 shared object에만 영향을 줍니다.

set_mempolicy()

long set_mempolicy(int mode, const unsigned long *nmask,
unsigned long maxnode);

set_mempolicy()는 calling task의 task/process memory policy를 mode와 nmask가 정한 node set으로 설정합니다. nmask는 최소 maxnode개의 node id를 담는 bit mask입니다. Optional flag는 MPOL_INTERLEAVE | MPOL_F_STATIC_NODES처럼 mode와 OR하여 전달합니다. 자세한 내용은 set_mempolicy(2) man page를 참조합니다.

get_mempolicy()

long get_mempolicy(int *mode,
const unsigned long *nmask, unsigned long maxnode,
void *addr, int flags);

get_mempolicy()는 flags에 따라 calling task의 task/process policy 또는 지정 virtual address의 policy나 physical location을 조회합니다. 자세한 내용은 get_mempolicy(2) man page를 참조합니다.

mbind()

long mbind(void *start, unsigned long len, int mode,
const unsigned long *nmask, unsigned long maxnode,
unsigned flags);

mbind()는 mode, nmask, maxnodes가 지정한 policy를 start와 len으로 정한 calling task address-space range의 VMA policy로 설치합니다. flags로 추가 action을 요청할 수 있습니다. 자세한 내용은 mbind(2) man page를 참조합니다.

Home node 설정

long sys_set_mempolicy_home_node(unsigned long start, unsigned long len,
unsigned long home_node,
unsigned long flags);

sys_set_mempolicy_home_node()는 task address range에 이미 존재하는 VMA policy의 home node만 갱신하고 다른 range는 무시합니다. Home node는 page allocation이 가능한 한 가까운 곳에서 이뤄질 NUMA node이며, 실행 CPU의 local node 가까이 할당하는 기본 policy를 override합니다.

numactl command line

Linux memory-policy 구현 자체는 아니지만 numactl(8)은 set_mempolicy(2), fork(2), exec(2)를 이용해 지정 program의 task policy를 설정하고, mbind(2)로 shared-memory segment의 shared policy를 설정합니다.

numactl(8)은 memory-policy system-call wrapper library의 runtime version과 함께 package됩니다. 일부 distribution은 header와 compile-time library를 별도 development package로 제공합니다.

Memory policy와 cpuset

Node 또는 node set이 필요한 memory policy는 cpuset이 memory를 허용한 node로 제한됩니다. MPOL_F_RELATIVE_NODES가 없으면 policy nodemask와 cpuset allowed-memory node의 intersection을 사용하며 결과가 empty이면 policy가 invalid라 설치할 수 없습니다. Relative flag가 있으면 앞에서 설명한 대로 task allowed set에 mapping하고 fold합니다.

두 cpuset의 task가 shmget() 또는 MAP_ANONYMOUS|MAP_SHARED mmap() shared region을 함께 쓰고 task 하나가 shared policy를 설치하면 양쪽 cpuset 모두에서 memory가 허용된 node만 사용할 수 있습니다. 이를 알아내려면 memory-policy API 밖의 cpuset 정보와 다른 attach task의 cpuset을 알아야 합니다. Allowed-memory set이 서로 겹치지 않으면 local allocation만 유효합니다.