PSI - Pressure Stall Information

PSI가 측정하는 resource pressure

PSI(Pressure Stall Information)는 2018년 4월 Johannes Weiner가 작성했습니다. CPU, memory 또는 I/O device가 contention 상태가 되면 workload는 latency spike와 throughput loss를 겪고 OOM kill 위험도 커집니다.

Contention을 정확히 측정하지 못하면 사용자는 안전을 위해 hardware resource를 충분히 활용하지 못하거나, 과도한 overcommit으로 인한 disruption을 자주 감수해야 합니다. PSI는 resource crunch가 일으키는 disruption과 complex workload 또는 system 전체에 미치는 시간 영향을 식별하고 수치화합니다.

Resource scarcity로 인한 productivity loss를 정확히 알면 workload를 hardware에 맞게 sizing하거나 workload demand에 맞춰 hardware를 provision할 수 있습니다. PSI는 정보를 realtime으로 aggregate하므로 load shedding, job을 다른 system/data center로 migration, 낮은 priority 또는 restart 가능한 batch job을 선택적으로 pause/kill하는 방식으로 system을 동적으로 관리할 수 있습니다. 따라서 workload health를 해치거나 OOM kill 같은 큰 disruption 위험을 높이지 않고 hardware utilization을 극대화할 수 있습니다.

Pressure interface와 some/full

Resource별 pressure information은 `/proc/pressure/` 아래 `cpu`, `memory`, `io` file로 내보냅니다. 각 file은 다음 형식의 `some`과 `full` line을 제공합니다.

some avg10=0.00 avg60=0.00 avg300=0.00 total=0
full avg10=0.00 avg60=0.00 avg300=0.00 total=0

`some`은 주어진 resource에서 task 일부 이상이 stall된 시간 비율입니다. `full`은 non-idle task 전부가 같은 resource에서 동시에 stall된 시간 비율입니다. Full 상태에서는 실제 CPU cycle이 낭비되고 이 상태가 오래 지속되는 workload는 thrashing 중이라고 봅니다. 일부 task는 stall돼도 CPU가 productive work를 하는 상태와 성능 영향이 큰 full 상태를 구분하기 위해 full average를 별도로 추적합니다.

Ratio는 percent 단위로 10초, 60초, 300초 window의 recent trend를 추적해 short-, medium-, long-term event를 보여 줍니다. Absolute total stall time은 microseconds(`us`)로도 내보냅니다. Average에 눈에 띄는 변화를 만들지 못하는 latency spike를 감지하거나 custom time frame의 trend를 계산할 때 사용합니다.

Pressure threshold monitoring

사용자는 trigger를 register하고 resource pressure가 threshold를 넘을 때 `poll()` wakeup을 받을 수 있습니다. Trigger는 특정 time window 안의 maximum cumulative stall time을 기술합니다. 예를 들어 어떤 500ms window에서든 total stall이 100ms이면 wakeup event를 만들 수 있습니다.

Monitor할 resource의 `/proc/pressure/` file을 open하고 threshold와 time window를 씁니다. Open file descriptor로 `select()`, `poll()`, `epoll()` event를 기다립니다. 형식은 `<some|full> <stall amount in us> <time window in us>`입니다.

Metric 여러 개와 같은 metric의 trigger 여러 개를 설정할 수 있습니다. Trigger마다 별도로 poll하려면 각자 file descriptor가 필요하므로 같은 PSI file이라도 trigger마다 `open()`해야 합니다. 이미 trigger가 있는 descriptor에 다시 write하면 `EBUSY`로 실패합니다.

Monitor는 system이 대상 PSI metric의 stall state에 들어갈 때만 activate되고 빠져나오면 deactivate됩니다. Stall 중 PSI signal growth는 tracking window마다 10회 rate로 monitor합니다. Kernel은 500ms~10s window를 허용하므로 update interval은 최소 50ms, 최대 1s입니다. 최소치는 지나친 polling을 막고 최대치는 그보다 긴 구간에는 monitor 대신 PSI average를 쓰는 편이 적합하기 때문에 정했습니다.

Unprivileged user도 monitor를 만들 수 있지만 excessive resource usage를 막기 위해 window size는 2s의 배수여야 합니다. Activate된 monitor는 system이 stall 경계를 오갈 때 반복 activate/deactivate하지 않도록 적어도 tracking window 하나 동안 active 상태를 유지합니다. Userspace notification은 tracking window마다 한 번으로 rate-limit됩니다. Trigger를 정의한 file descriptor를 close하면 de-register됩니다.

Userspace poll monitor 예제

다음 C program은 1초 tracking window에서 150ms의 partial memory stall을 monitor합니다. `/proc/pressure/memory`를 `O_RDWR | O_NONBLOCK`으로 열고 `some 150000 1000000` trigger를 쓴 뒤 `POLLPRI` event를 무기한 기다립니다.

`POLLERR`이면 event source가 사라진 것이므로 종료하고, `POLLPRI`이면 trigger event를 보고합니다. 그 밖의 event는 unknown으로 처리합니다. Header, function call, string과 error path를 보존하기 위해 원문 code를 그대로 제공합니다.

::

  #include <errno.h>
  #include <fcntl.h>
  #include <stdio.h>
  #include <poll.h>
  #include <string.h>
  #include <unistd.h>

  /*
   * Monitor memory partial stall with 1s tracking window size
   * and 150ms threshold.
   */
  int main() {
	const char trig[] = "some 150000 1000000";
	struct pollfd fds;
	int n;

	fds.fd = open("/proc/pressure/memory", O_RDWR | O_NONBLOCK);
	if (fds.fd < 0) {
		printf("/proc/pressure/memory open error: %s\n",
			strerror(errno));
		return 1;
	}
	fds.events = POLLPRI;

	if (write(fds.fd, trig, strlen(trig) + 1) < 0) {
		printf("/proc/pressure/memory write error: %s\n",
			strerror(errno));
		return 1;
	}

	printf("waiting for events...\n");
	while (1) {
		n = poll(&fds, 1, -1);
		if (n < 0) {
			printf("poll error: %s\n", strerror(errno));
			return 1;
		}
		if (fds.revents & POLLERR) {
			printf("got POLLERR, event source is gone\n");
			return 0;
		}
		if (fds.revents & POLLPRI) {
			printf("event triggered!\n");
		} else {
			printf("unknown event received: 0x%x\n", fds.revents);
			return 1;
		}
	}

	return 0;
  }

Cgroup2 pressure interface

`CONFIG_CGROUPS=y` kernel에서 cgroup2 filesystem을 mount하면 cgroup에 묶인 task의 PSI도 추적합니다. Cgroupfs mountpoint의 각 subdirectory에는 `cpu.pressure`, `memory.pressure`, `io.pressure` file이 있고 format은 `/proc/pressure/` file과 같습니다.

Per-cgroup PSI monitor도 system-wide monitor와 같은 방식으로 지정하고 사용할 수 있습니다.