IAA Compression Accelerator Crypto Driver

IAA 압축 가속기 Crypto 드라이버 개요

.. SPDX-License-Identifier: GPL-2.0

이 문서는 Tom Zanussi `<tom.zanussi@linux.intel.com>`가 작성했습니다. IAA crypto 드라이버는 RFC 1951에 정의된 DEFLATE 표준과 호환되는 압축 및 압축 해제를 지원하며, 이 모듈이 외부에 제공하는 알고리즘도 이 방식입니다.

IAA 하드웨어 사양은 다음 문서에서 확인할 수 있습니다.

https://cdrdv2.intel.com/v1/dl/getContent/721858

`iaa_crypto` 드라이버는 zswap 같은 상위 압축 장치 아래에서 동작하는 계층으로 설계됐습니다. 압축 알고리즘을 선택할 수 있는 기능에서 지원되는 IAA 알고리즘을 지정하면 IAA 압축 및 압축 해제 가속을 사용할 수 있습니다.

예를 들어 zswap에서 crypto 압축 알고리즘 `deflate-iaa`를 선택하면 IAA의 `fixed` 모드를 사용할 수 있습니다.

# echo deflate-iaa > /sys/module/zswap/parameters/compressor

이 설정은 zswap의 모든 압축과 압축 해제에 IAA `fixed` 모드를 사용하도록 지시합니다. 현재 제공되는 압축 모드는 `fixed` 하나뿐입니다.

`fixed` 모드는 RFC 1951의 압축 방식을 구현하고 crypto 알고리즘 이름으로 `deflate-iaa`를 사용합니다. IAA 하드웨어의 history window가 4 KiB로 제한되므로 버퍼가 4 KiB 이하이거나 4 KiB 이하의 history window로 압축된 경우에만, 최대 32 KiB window를 허용하는 deflate 사양을 기술적으로 충족합니다. 이 제약 때문에 단순히 `deflate`라고 하지 않고 IAA fixed 모드에 별도의 알고리즘 이름을 부여했습니다.

커널 설정과 IOMMU 모드

IAA crypto 드라이버는 menuconfig의 다음 경로에서 선택할 수 있습니다.

Cryptographic API -> Hardware crypto devices -> Support for Intel(R) IAA Compression Accelerator

설정 파일의 옵션 이름은 `CONFIG_CRYPTO_DEV_IAA_CRYPTO`입니다. 통계 지원은 다음 menuconfig 경로에서 별도로 활성화합니다.

Cryptographic API -> Hardware crypto devices -> Support for Intel(R) IAA Compression -> Enable Intel(R) IAA Compression Accelerator Statistics

통계 옵션 이름은 `CONFIG_CRYPTO_DEV_IAA_CRYPTO_STATS`입니다. 다음 관련 설정도 활성화해야 합니다.

CONFIG_IRQ_REMAP=y
CONFIG_INTEL_IOMMU=y
CONFIG_INTEL_IOMMU_SVM=y
CONFIG_PCI_ATS=y
CONFIG_PCI_PRI=y
CONFIG_PCI_PASID=y
CONFIG_INTEL_IDXD=m
CONFIG_INTEL_IDXD_SVM=y

IAA는 Intel IOMMU와 함께 동작할 수 있는 초기 Intel 가속기 IP 가운데 하나입니다. IOMMU 설정에 따라 시험할 수 있는 모드는 세 가지입니다.

- Scalable
- Legacy
- No IOMMU

Scalable 모드

Scalable 모드는 Shared Virtual Memory, 즉 SVM 또는 SVA를 지원합니다. BIOS에서 VT-d를 켜고 다음 커널 부팅 명령줄을 사용하면 이 모드로 들어갑니다.

intel_iommu=on,sm_on

Scalable 모드에서는 shared workqueue와 dedicated workqueue를 모두 사용할 수 있습니다. BIOS에서는 다음 항목을 활성화해야 합니다.

Socket Configuration > IIO Configuration > Intel VT for Directed I/O (VT-d) > Intel VT for Directed I/O

Socket Configuration > IIO Configuration > PCIe ENQCMD > ENQCMDS

Legacy 모드

다음 커널 부팅 명령줄을 사용하거나 BIOS에서 VT-d가 꺼져 있으면 Legacy 모드로 들어갑니다.

intel_iommu=off

Linux로 부팅한 뒤 VT-d 활성 여부가 확실하지 않다면 `dmesg | grep -i dmar`를 실행하십시오. 여러 DMAR 장치가 열거되지 않는다면 VT-d가 꺼져 있을 가능성이 큽니다. Legacy 모드에서는 dedicated workqueue만 사용할 수 있습니다.

IOMMU 비사용 모드

다음 커널 부팅 명령줄을 사용하면 IOMMU 비사용 모드로 들어갑니다.

iommu=off.

IOMMU를 사용하지 않는 모드에서도 dedicated workqueue만 사용할 수 있습니다.

accel-config를 이용한 구성

`iaa_crypto` 드라이버를 로드하면 기본 구성을 자동으로 만들고 활성화하며 기본 드라이버 속성을 지정합니다. 다른 구성이나 속성이 필요하면 먼저 IAA 장치와 workqueue를 비활성화하고 구성을 초기화한 다음, `iaa_crypto` 모듈을 제거했다가 다시 삽입해 `deflate-iaa` 알고리즘을 crypto 서브시스템에 재등록해야 합니다.

아래 사용 사례의 `iaa_disable_script`로 기본 구성을 비활성화할 수 있고, 기본 구성의 자세한 내용은 `iaa_default_config` 절에 있습니다.

가속기 장치는 복잡하고 구성 가능성이 높기 때문에 사용자가 장치를 직접 구성하고 원하는 장치와 workqueue를 수동으로 활성화하려는 경우가 많습니다. 이를 돕는 사용자 공간 도구가 `accel-config`입니다.

`accel-config`로 장치를 구성하거나 저장된 구성을 불러오는 방식을 강력히 권장합니다. sysfs로도 장치를 직접 제어할 수 있지만 무엇을 하는지 정확히 아는 경우에만 사용해야 합니다. 이어지는 본문은 sysfs 인터페이스 대신 `accel-config` 사용을 전제로 하며, sysfs 세부 사항은 부록의 `iaa_sysfs_config` 절에서 확인할 수 있습니다.

`accel-config` 도구와 빌드 방법은 다음 위치에 있습니다.

https://github.com/intel/idxd-config/#readme

일반적인 workqueue 구성

`iaa_crypto` 모듈이 상위 기능을 대신해 실제 압축 및 압축 해제를 수행하려면 하나 이상의 IAA workqueue가 `iaa_crypto` 드라이버에 바인딩돼야 합니다.

다음 예는 IAA workqueue를 구성하고 `iaa_crypto`에 바인딩합니다. 업스트림에 예전 장치 이름이 남아 있어 장치 이름은 `iaa`가 아니라 `iax`로 지정합니다.

# configure wq1.0

accel-config config-wq --group-id=0 --mode=dedicated --type=kernel --priority=10 --name="iaa_crypto" --driver-name="crypto" iax1/wq1.0

accel-config config-engine iax1/engine1.0 --group-id=0

# enable IAA device iax1

accel-config enable-device iax1

# enable wq1.0 on IAX device iax1

accel-config enable-wq iax1/wq1.0

새 workqueue가 `iaa_crypto`에 바인딩되거나 드라이버에서 분리될 때마다 사용 가능한 workqueue를 재균형화합니다. 특정 CPU가 제출한 작업은 가장 적절한 가용 workqueue로 전달됩니다.

현재 권장 방식은 각 IAA 장치마다 workqueue를 하나 이상 구성해 바인딩하는 것입니다. 시스템의 어느 IAA 장치든 최소 한 개의 workqueue가 구성되고 바인딩돼 있으면 드라이버는 동작하지만 효율이 떨어질 수 있습니다.

첫 IAA workqueue가 성공적으로 바인딩되면 IAA crypto 알고리즘이 동작 상태가 되고 압축 및 압축 해제가 완전히 활성화됩니다. 반대로 마지막 workqueue가 언바인딩되면 알고리즘은 동작하지 않으며 두 연산도 비활성화됩니다.

따라서 하나 이상의 workqueue가 `iaa_crypto`에 바인딩돼 있을 때만 IAA crypto 알고리즘과 IAA 하드웨어를 사용할 수 있습니다. 바인딩된 workqueue가 없으면 모듈을 제거해 알고리즘을 등록 해제할 수 있습니다.

드라이버 속성

동작 모드를 설정할 수 있는 사용자 구성 가능 속성이 몇 가지 있습니다. 속성 파일은 `/sys/bus/dsa/drivers/crypto/` 아래에 있으며, 원하는 값을 해당 파일에 써서 설정합니다. IAA 알고리즘을 등록할 당시의 속성값은 각 알고리즘의 `crypto_ctx`에 저장되고 그 알고리즘의 모든 압축 및 압축 해제에 사용됩니다.

`verify_compress`는 압축 검증을 켜거나 끕니다. 활성화하면 압축 결과를 내부적으로 다시 풀어 내용을 검증하고, 실패하면 오류 코드를 반환합니다. `0` 또는 `1`로 전환할 수 있습니다.

echo 0 > /sys/bus/dsa/drivers/crypto/verify_compress

기본값은 `1`, 즉 모든 압축을 검증하는 상태입니다.

`sync_mode`는 각 압축 및 압축 해제 완료를 기다리는 방식을 선택합니다. `iaa_crypto`의 crypto 비동기 인터페이스 구현은 인터페이스 요건을 충족하지만 기본적으로 동기 방식으로 동작합니다. IDXD descriptor를 채워 제출한 뒤 완료될 때까지 반복해서 확인하고 나서 반환합니다.

현재 zswap 같은 호출자는 비동기 피호출자를 어차피 동기 래퍼로 감싸므로 이 동작은 문제가 되지 않습니다. 한편 드라이버는 이를 활용할 수 있는 호출자를 위해 진정한 비동기 방식도 제공합니다. 이 모드에서는 descriptor를 제출한 직후 `-EINPROGRESS`를 반환합니다.

호출자는 직접 완료를 polling할 수 있지만 이를 위한 전용 코드가 필요하고 현재 업스트림 커널에는 구현한 사용자가 없습니다. 또는 sleep 상태로 들어가 완료 인터럽트를 기다릴 수 있습니다. 후자는 zswap 같은 현재 커널 사용자가 동기 래퍼를 통해 지원하지만, 드라이버 내부에서 polling하는 앞의 동기 모드보다 상당히 느립니다.

인터럽트를 사용하는 비동기 모드는 `sync_mode` 속성에 `async_irq`를 써서 활성화합니다.

echo async_irq > /sys/bus/dsa/drivers/crypto/sync_mode

호출자가 polling해야 하는 인터럽트 없는 비동기 모드는 `async`를 써서 선택합니다. 아래 주의 사항도 확인하십시오.

echo async > /sys/bus/dsa/drivers/crypto/sync_mode

`iaa_crypto` 드라이버 내부에서 polling하는 모드는 `sync`를 써서 선택합니다.

echo sync > /sys/bus/dsa/drivers/crypto/sync_mode

기본 모드는 `sync`입니다. 현재 `iaa_crypto`가 인터럽트 없는 비동기 polling을 위해 구현한 유일한 메커니즘은 앞에서 설명한 `sync` 모드이므로, 속성에 `async`를 쓰더라도 내부적으로는 `sync`가 활성화됩니다. 진정한 인터럽트 없는 비동기 polling이 구현되기 전까지 올바른 동작을 보장하기 위한 조치입니다.

IAA 기본 구성

`iaa_crypto` 드라이버를 로드하면 각 IAA 장치마다 다음 속성을 가진 workqueue 하나를 구성합니다.

mode              "dedicated"
threshold         0
size              Total WQ Size from WQCAP
priority          10
type              IDXD_WQT_KERNEL
group             0
name              "iaa_crypto"
driver_name       "crypto"

장치와 workqueue도 함께 활성화되므로 추가 구성 없이 바로 드라이버를 사용할 수 있습니다. 드라이버를 로드할 때 적용되는 기본 속성은 다음과 같습니다.

sync_mode         "sync"
verify_compress   1

장치, workqueue 또는 드라이버 속성을 바꾸려면 활성화된 장치와 workqueue를 먼저 비활성화해야 합니다. 새 구성을 `deflate-iaa` crypto 알고리즘에 적용하려면 `iaa_crypto` 모듈을 제거했다가 다시 삽입해 알고리즘을 재등록해야 합니다. 사용 사례의 `iaa_disable_script`로 기본 구성을 비활성화할 수 있습니다.

debugfs 통계

선택적인 debugfs 통계 지원을 활성화하면 IAA crypto 드라이버가 통계를 생성하며 `/sys/kernel/debug/iaa-crypto/`에서 접근할 수 있습니다.

# ls -al /sys/kernel/debug/iaa-crypto/
total 0
drwxr-xr-x  2 root root 0 Mar  3 07:55 .
drwx------ 53 root root 0 Mar  3 07:55 ..
-rw-r--r--  1 root root 0 Mar  3 07:55 global_stats
-rw-r--r--  1 root root 0 Mar  3 07:55 stats_reset
-rw-r--r--  1 root root 0 Mar  3 07:55 wq_stats

`global_stats`는 드라이버를 로드하거나 통계를 초기화한 뒤부터 수집한 전역 통계를 보여 줍니다.

# cat global_stats
global stats:
  total_comp_calls: 4300
  total_decomp_calls: 4164
  total_sw_decomp_calls: 0
  total_comp_bytes_out: 5993989
  total_decomp_bytes_in: 5993989
  total_completion_einval_errors: 0
  total_completion_timeout_errors: 0
  total_completion_comp_buf_overflow_errors: 136

`wq_stats`는 일부 전역 통계와 함께 각 IAA 장치 및 workqueue별 통계를 보여 줍니다.

# cat wq_stats
iaa device:
  id: 1
  n_wqs: 1
  comp_calls: 0
  comp_bytes: 0
  decomp_calls: 0
  decomp_bytes: 0
  wqs:
    name: iaa_crypto
    comp_calls: 0
    comp_bytes: 0
    decomp_calls: 0
    decomp_bytes: 0

iaa device:
  id: 3
  n_wqs: 1
  comp_calls: 0
  comp_bytes: 0
  decomp_calls: 0
  decomp_bytes: 0
  wqs:
    name: iaa_crypto
    comp_calls: 0
    comp_bytes: 0
    decomp_calls: 0
    decomp_bytes: 0

iaa device:
  id: 5
  n_wqs: 1
  comp_calls: 1360
  comp_bytes: 1999776
  decomp_calls: 0
  decomp_bytes: 0
  wqs:
    name: iaa_crypto
    comp_calls: 1360
    comp_bytes: 1999776
    decomp_calls: 0
    decomp_bytes: 0

iaa device:
  id: 7
  n_wqs: 1
  comp_calls: 2940
  comp_bytes: 3994213
  decomp_calls: 4164
  decomp_bytes: 5993989
  wqs:
    name: iaa_crypto
    comp_calls: 2940
    comp_bytes: 3994213
    decomp_calls: 4164
    decomp_bytes: 5993989
  ...

`stats_reset`에 값을 쓰면 장치별 및 workqueue별 통계를 포함한 모든 통계를 초기화합니다.

# echo 1 > stats_reset
# cat wq_stats
  global stats:
  total_comp_calls: 0
  total_decomp_calls: 0
  total_comp_bytes_out: 0
  total_decomp_bytes_in: 0
  total_completion_einval_errors: 0
  total_completion_timeout_errors: 0
  total_completion_comp_buf_overflow_errors: 0
  ...

간단한 zswap 시험 준비

이 예에서는 앞서 설명한 dedicated 모드 옵션에 맞춰 커널을 구성하고 zswap도 활성화해야 합니다.

CONFIG_ZSWAP=y

이 간단한 시험은 swap 장치인 zswap의 compressor로 `iaa_compress`를 사용합니다. zswap 장치를 설정한 다음 아래의 `memory_madvise` 프로그램으로 지정한 수의 페이지를 강제로 swap out과 swap in하여 압축과 압축 해제를 모두 보여 줍니다.

시스템의 각 IAA 장치에 있는 workqueue는 `driver_name`이 `crypto`인 kernel workqueue로 올바르게 구성돼 있어야 합니다. 먼저 `iaa_crypto` 모듈이 로드됐는지 확인합니다.

modprobe iaa_crypto

IAA 장치와 workqueue를 이전에 비활성화하거나 재구성하지 않았다면 기본 구성이 적용돼 있으므로 추가 IAA 설정은 필요하지 않습니다. 기본 구성의 세부 사항은 `iaa_default_config` 절을 참고하십시오.

기본 구성으로 zswap 시험

기본 구성이 적용돼 있으면 IAA 장치와 `wq0`가 활성화된 상태로 표시됩니다.

# cat /sys/bus/dsa/devices/iax1/state
enabled
# cat /sys/bus/dsa/devices/iax1/wq1.0/state
enabled

동작을 확인하기 위해 다음 명령으로 디버그 출력을 활성화할 수 있습니다.

# echo -n 'module iaa_crypto +p' > /sys/kernel/debug/dynamic_debug/control
# echo -n 'module idxd +p' > /sys/kernel/debug/dynamic_debug/control

다음 명령으로 zswap을 활성화합니다.

# echo 0 > /sys/module/zswap/parameters/enabled
# echo 50 > /sys/module/zswap/parameters/max_pool_percent
# echo deflate-iaa > /sys/module/zswap/parameters/compressor
# echo 1 > /sys/module/zswap/parameters/enabled
# echo 100 > /proc/sys/vm/swappiness
# echo never > /sys/kernel/mm/transparent_hugepage/enabled
# echo 1 > /proc/sys/vm/overcommit_memory

이제 측정할 zswap 작업을 실행할 수 있습니다. 아래 `memory_madvise` 예에서는 100페이지를 swap out한 뒤 다시 swap in합니다.

./memory_madvise 100

Allocating 100 pages to swap in/out
Swapping out 100 pages
Swapping in 100 pages
Swapped out and in 100 pages

`dmesg`에는 다음과 비슷한 압축 및 검증 출력이 나타나야 합니다.

[  404.202972] idxd 0000:e7:02.0: iaa_comp_acompress: dma_map_sg, src_addr 223925c000, nr_sgs 1, req->src 00000000ee7cb5e6, req->slen 4096, sg_dma_len(sg) 4096
[  404.202973] idxd 0000:e7:02.0: iaa_comp_acompress: dma_map_sg, dst_addr 21dadf8000, nr_sgs 1, req->dst 000000008d6acea8, req->dlen 4096, sg_dma_len(sg) 8192
[  404.202975] idxd 0000:e7:02.0: iaa_compress: desc->src1_addr 223925c000, desc->src1_size 4096, desc->dst_addr 21dadf8000, desc->max_dst_size 4096, desc->src2_addr 2203543000, desc->src2_size 1568
[  404.202981] idxd 0000:e7:02.0: iaa_compress_verify: (verify) desc->src1_addr 21dadf8000, desc->src1_size 228, desc->dst_addr 223925c000, desc->max_dst_size 4096, desc->src2_addr 0, desc->src2_size 0
...

기본 기능을 확인한 뒤에는 기본 구성을 지우고 다른 구성으로 교체할 수 있습니다. 먼저 다음 명령으로 zswap을 비활성화합니다.

# echo lzo > /sys/module/zswap/parameters/compressor
# swapoff -a
# echo 0 > /sys/module/zswap/parameters/accept_threshold_percent
# echo 0 > /sys/module/zswap/parameters/max_pool_percent
# echo 0 > /sys/module/zswap/parameters/enabled
# echo 0 > /sys/module/zswap/parameters/enabled

그런 다음 아래 사용 사례의 `iaa_disable_script`를 실행해 기본 구성을 비활성화하고 swap을 다시 켭니다.

# swapon -a

이 과정을 마치면 추가 시험에 맞춰 IAA 장치를 원하는 방식으로 재구성하고 활성화할 수 있습니다.

사용자 구성 스크립트와 workqueue 활성화

zswap 시험을 위해 각 IAA 장치의 workqueue는 `driver_name`이 `crypto`인 kernel workqueue로 구성돼야 합니다. 다음 스크립트는 IAA 인스턴스를 세고, 기존 workqueue와 장치를 비활성화하고, `iaa_crypto` 모듈을 다시 로드한 뒤, 각 장치의 workqueue와 engine을 구성해 다시 활성화합니다.

#!/bin/bash

echo "IAA devices:"
lspci -d:0cfe
echo "# IAA devices:"
lspci -d:0cfe | wc -l

#
# count iaa instances
#
iaa_dev_id="0cfe"
num_iaa=$(lspci -d:${iaa_dev_id} | wc -l)
echo "Found ${num_iaa} IAA instances"

#
# disable iaa wqs and devices
#
echo "Disable IAA"

for ((i = 1; i < ${num_iaa} * 2; i += 2)); do
    echo disable wq iax${i}/wq${i}.0
    accel-config disable-wq iax${i}/wq${i}.0
    echo disable iaa iax${i}
    accel-config disable-device iax${i}
done

echo "End Disable IAA"

echo "Reload iaa_crypto module"

rmmod iaa_crypto
modprobe iaa_crypto

echo "End Reload iaa_crypto module"

#
# configure iaa wqs and devices
#
echo "Configure IAA"
for ((i = 1; i < ${num_iaa} * 2; i += 2)); do
    accel-config config-wq --group-id=0 --mode=dedicated --wq-size=128 --priority=10 --type=kernel --name="iaa_crypto" --driver-name="crypto" iax${i}/wq${i}.0
    accel-config config-engine iax${i}/engine${i}.0 --group-id=0
done

echo "End Configure IAA"

#
# enable iaa wqs and devices
#
echo "Enable IAA"

for ((i = 1; i < ${num_iaa} * 2; i += 2)); do
    echo enable iaa iax${i}
    accel-config enable-device iax${i}
    echo enable wq iax${i}/wq${i}.0
    accel-config enable-wq iax${i}/wq${i}.0
done

echo "End Enable IAA"

workqueue가 `iaa_crypto` 드라이버에 바인딩되면 디버그 출력을 활성화한 경우 `dmesg`에서 workqueue 추가와 CPU·NUMA 노드별 재균형화 결과를 볼 수 있습니다.

[   60.752344] idxd 0000:f6:02.0: add_iaa_wq: added wq 000000004068d14d to iaa 00000000c9585ba2, n_wq 1
[   60.752346] iaa_crypto: rebalance_wq_table: nr_nodes=2, nr_cpus 160, nr_iaa 8, cpus_per_iaa 20
[   60.752347] iaa_crypto: rebalance_wq_table: iaa=0
[   60.752349] idxd 0000:6a:02.0: request_iaa_wq: getting wq from iaa_device 0000000042d7bc52 (0)
[   60.752350] idxd 0000:6a:02.0: request_iaa_wq: returning unused wq 00000000c8bb4452 (0) from iaa device 0000000042d7bc52 (0)
[   60.752352] iaa_crypto: rebalance_wq_table: assigned wq for cpu=0, node=0 = wq 00000000c8bb4452
[   60.752354] iaa_crypto: rebalance_wq_table: iaa=0
[   60.752355] idxd 0000:6a:02.0: request_iaa_wq: getting wq from iaa_device 0000000042d7bc52 (0)
[   60.752356] idxd 0000:6a:02.0: request_iaa_wq: returning unused wq 00000000c8bb4452 (0) from iaa device 0000000042d7bc52 (0)
[   60.752358] iaa_crypto: rebalance_wq_table: assigned wq for cpu=1, node=0 = wq 00000000c8bb4452
[   60.752359] iaa_crypto: rebalance_wq_table: iaa=0
[   60.752360] idxd 0000:6a:02.0: request_iaa_wq: getting wq from iaa_device 0000000042d7bc52 (0)
[   60.752361] idxd 0000:6a:02.0: request_iaa_wq: returning unused wq 00000000c8bb4452 (0) from iaa device 0000000042d7bc52 (0)
[   60.752362] iaa_crypto: rebalance_wq_table: assigned wq for cpu=2, node=0 = wq 00000000c8bb4452
[   60.752364] iaa_crypto: rebalance_wq_table: iaa=0
.
.
.

workqueue와 장치를 활성화하면 IAA crypto 알고리즘을 사용할 수 있습니다. 성공적으로 활성화됐을 때는 다음 메시지가 출력됩니다.

[   64.893759] iaa_crypto: iaa_crypto_enable: iaa_crypto now ENABLED

zswap 작업과 알고리즘 등록 해제

zswap이 `fixed` 압축 모드를 사용하도록 다음 전용 설정 명령을 실행합니다.

echo 0 > /sys/module/zswap/parameters/enabled
echo 50 > /sys/module/zswap/parameters/max_pool_percent
echo deflate-iaa > /sys/module/zswap/parameters/compressor
echo 1 > /sys/module/zswap/parameters/enabled

echo 100 > /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 1 > /proc/sys/vm/overcommit_memory

그런 다음 측정할 zswap 작업을 실행합니다. 아래 예는 100페이지를 swap out하고 다시 swap in합니다.

./memory_madvise 100

Allocating 100 pages to swap in/out
Swapping out 100 pages
Swapping in 100 pages
Swapped out and in 100 pages

디버그 출력을 활성화했다면 `dmesg`에서 DMA mapping, 압축 descriptor, 압축 검증과 압축 해제 descriptor가 이어지는 다음 추적을 볼 수 있습니다.

[  404.202972] idxd 0000:e7:02.0: iaa_comp_acompress: dma_map_sg, src_addr 223925c000, nr_sgs 1, req->src 00000000ee7cb5e6, req->slen 4096, sg_dma_len(sg) 4096
[  404.202973] idxd 0000:e7:02.0: iaa_comp_acompress: dma_map_sg, dst_addr 21dadf8000, nr_sgs 1, req->dst 000000008d6acea8, req->dlen 4096, sg_dma_len(sg) 8192
[  404.202975] idxd 0000:e7:02.0: iaa_compress: desc->src1_addr 223925c000, desc->src1_size 4096, desc->dst_addr 21dadf8000, desc->max_dst_size 4096, desc->src2_addr 2203543000, desc->src2_size 1568
[  404.202981] idxd 0000:e7:02.0: iaa_compress_verify: (verify) desc->src1_addr 21dadf8000, desc->src1_size 228, desc->dst_addr 223925c000, desc->max_dst_size 4096, desc->src2_addr 0, desc->src2_size 0
[  409.203227] idxd 0000:e7:02.0: iaa_comp_adecompress: dma_map_sg, src_addr 21ddd8b100, nr_sgs 1, req->src 0000000084adab64, req->slen 228, sg_dma_len(sg) 228
[  409.203235] idxd 0000:e7:02.0: iaa_comp_adecompress: dma_map_sg, dst_addr 21ee3dc000, nr_sgs 1, req->dst 000000004e2990d0, req->dlen 4096, sg_dma_len(sg) 4096
[  409.203239] idxd 0000:e7:02.0: iaa_decompress: desc->src1_addr 21ddd8b100, desc->src1_size 228, desc->dst_addr 21ee3dc000, desc->max_dst_size 4096, desc->src2_addr 0, desc->src2_size 0
[  409.203254] idxd 0000:e7:02.0: iaa_comp_adecompress: dma_map_sg, src_addr 21ddd8b100, nr_sgs 1, req->src 0000000084adab64, req->slen 228, sg_dma_len(sg) 228
[  409.203256] idxd 0000:e7:02.0: iaa_comp_adecompress: dma_map_sg, dst_addr 21f1551000, nr_sgs 1, req->dst 000000004e2990d0, req->dlen 4096, sg_dma_len(sg) 4096
[  409.203257] idxd 0000:e7:02.0: iaa_decompress: desc->src1_addr 21ddd8b100, desc->src1_size 228, desc->dst_addr 21f1551000, desc->max_dst_size 4096, desc->src2_addr 0, desc->src2_size 0

다른 매개변수로 새 IAA crypto 알고리즘을 등록하려면 현재 알고리즘 사용자를 모두 중지하고 IAA workqueue와 장치를 비활성화해야 합니다. zswap에서는 IAA 알고리즘을 compressor에서 제거하고 swap을 꺼서 `iaa_crypto`에 대한 모든 참조를 없앱니다.

echo lzo > /sys/module/zswap/parameters/compressor
swapoff -a

echo 0 > /sys/module/zswap/parameters/accept_threshold_percent
echo 0 > /sys/module/zswap/parameters/max_pool_percent
echo 0 > /sys/module/zswap/parameters/enabled

zswap이 비활성화돼 더 이상 `iaa_crypto`를 사용하지 않으면 IAA workqueue와 장치를 비활성화할 수 있습니다.

IAA 비활성화 스크립트

다음 스크립트는 IAA 인스턴스를 세고 각 장치의 workqueue를 먼저 비활성화한 뒤 장치를 비활성화합니다.

#!/bin/bash

echo "IAA devices:"
lspci -d:0cfe
echo "# IAA devices:"
lspci -d:0cfe | wc -l

#
# count iaa instances
#
iaa_dev_id="0cfe"
num_iaa=$(lspci -d:${iaa_dev_id} | wc -l)
echo "Found ${num_iaa} IAA instances"

#
# disable iaa wqs and devices
#
echo "Disable IAA"

for ((i = 1; i < ${num_iaa} * 2; i += 2)); do
    echo disable wq iax${i}/wq${i}.0
    accel-config disable-wq iax${i}/wq${i}.0
    echo disable iaa iax${i}
    accel-config disable-device iax${i}
done

echo "End Disable IAA"

이 시점에는 `iaa_crypto` 모듈을 제거할 수 있으며, 그러면 현재 IAA crypto 알고리즘도 등록 해제됩니다.

rmmod iaa_crypto

memory_madvise 시험 프로그램

다음 `memory_madvise.c`는 `gcc -o memory_memadvise memory_madvise.c`로 빌드합니다. 인자로 받은 수만큼 4 KiB 페이지를 익명 공유 mapping으로 할당해 `*` 문자로 채우고, `MADV_PAGEOUT`으로 즉시 swap out을 요청합니다.

프로그램은 잠시 기다린 뒤 각 페이지를 다시 읽어 swap in을 유발하고 데이터가 `*`인지 확인합니다. 값이 다르면 압축 해제 오류를 알리고 페이지 앞부분의 데이터를 출력합니다.

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <unistd.h>
#include <sys/mman.h>
#include <linux/mman.h>

#ifndef MADV_PAGEOUT
#define MADV_PAGEOUT    21      /* force pages out immediately */
#endif

#define PG_SZ           4096

int main(int argc, char **argv)
{
      int i, nr_pages = 1;
      int64_t *dump_ptr;
      char *addr, *a;
      int loop = 1;

      if (argc > 1)
              nr_pages = atoi(argv[1]);

      printf("Allocating %d pages to swap in/out\n", nr_pages);

      /* allocate pages */
      addr = mmap(NULL, nr_pages * PG_SZ, PROT_READ | PROT_WRITE, MAP_SHARED | MAP_ANONYMOUS, -1, 0);
      *addr = 1;

      /* initialize data in page to all '*' chars */
      memset(addr, '*', nr_pages * PG_SZ);

       printf("Swapping out %d pages\n", nr_pages);

      /* Tell kernel to swap it out */
      madvise(addr, nr_pages * PG_SZ, MADV_PAGEOUT);

      while (loop > 0) {
              /* Wait for swap out to finish */
              sleep(5);

              a = addr;

              printf("Swapping in %d pages\n", nr_pages);

              /* Access the page ... this will swap it back in again */
              for (i = 0; i < nr_pages; i++) {
                      if (a[0] != '*') {
                              printf("Bad data from decompress!!!!!\n");

                              dump_ptr = (int64_t *)a;
                               for (int j = 0; j < 100; j++) {
                                      printf("  page %d data: %#llx\n", i, *dump_ptr);
                                      dump_ptr++;
                              }
                      }

                      a += PG_SZ;
              }

              loop --;
      }

     printf("Swapped out and in %d pages\n", nr_pages);

부록: IAA sysfs 구성 인터페이스

이 부록은 IAA sysfs 인터페이스를 설명합니다. 본문에서 강조했듯 무엇을 하는지 정확히 아는 경우에만 직접 사용해야 합니다. `accel-config`가 sysfs 기능을 모두 제공하고 내부적으로도 이 인터페이스를 기반으로 하므로 직접 사용할 특별한 이유는 없습니다.

IAA 구성 경로는 `/sys/bus/dsa/devices`이며 각 IAA 장치, workqueue, engine, group을 나타내는 하위 디렉터리를 포함합니다. sysfs에서는 IAA 장치 이름으로 `iax1`, `iax3` 같은 `iax`를 사용합니다. 홀수 번호가 IAA 장치이고 짝수 번호는 DSA 장치이므로 IAA 구성에서는 무시할 수 있습니다.

IAA 장치 활성화 파일은 `/sys/bus/dsa/drivers/idxd/bind`, IAA workqueue 활성화 파일은 `/sys/bus/dsa/drivers/crypto/bind`입니다. 비활성화에는 각각 `/sys/bus/dsa/drivers/idxd/unbind`와 `/sys/bus/dsa/drivers/crypto/unbind`를 사용합니다.

기본 설정 순서는 장치별로 활성 workqueue를 모두 비활성화하고, 장치를 비활성화하고, 원하는 workqueue를 구성한 다음, 장치와 workqueue를 다시 활성화하는 것입니다. IAA 장치 3의 workqueue 0과 1을 비활성화하는 예는 다음과 같습니다.

# echo wq3.0 > /sys/bus/dsa/drivers/crypto/unbind
# echo wq3.1 > /sys/bus/dsa/drivers/crypto/unbind

IAA 장치 3 자체를 비활성화합니다.

# echo iax3 > /sys/bus/dsa/drivers/idxd/unbind

IAA 장치 3의 workqueue 3을 dedicated kernel workqueue로 구성하고 크기, group, priority, 이름과 driver 이름을 지정합니다.

# echo dedicated > /sys/bus/dsa/devices/iax3/wq3.3/mode
# echo 128 > /sys/bus/dsa/devices/iax3/wq3.3/size
# echo 0 > /sys/bus/dsa/devices/iax3/wq3.3/group_id
# echo 10 > /sys/bus/dsa/devices/iax3/wq3.3/priority
# echo "kernel" > /sys/bus/dsa/devices/iax3/wq3.3/type
# echo "iaa_crypto" > /sys/bus/dsa/devices/iax3/wq3.3/name
# echo "crypto" > /sys/bus/dsa/devices/iax3/wq3.3/driver_name

IAA 장치 3을 다시 활성화합니다.

# echo iax3 > /sys/bus/dsa/drivers/idxd/bind

마지막으로 원하는 workqueue 0과 1을 활성화합니다.

# echo wq3.0 > /sys/bus/dsa/drivers/crypto/bind
# echo wq3.1 > /sys/bus/dsa/drivers/crypto/bind