요약·해설과 원문, 전문 번역을 서로 분리했습니다. API 이름, symbol, source path는 원문 표기를 사용합니다.
1. 요약·해설
원문의 핵심 논리와 kernel programming 관점의 보충 설명입니다. 아래의 전문 번역과는 별도로 작성했습니다.
2. 영어 원문 전체
번역 기준이 된 Linux v6.18.37 원문입니다. 줄 번호는 이 버전의 파일 좌표입니다.
원문 전체 펼치기
======================
Asymmetric 32-bit SoCs
======================
Author: Will Deacon <will@kernel.org>
This document describes the impact of asymmetric 32-bit SoCs on the
execution of 32-bit (``AArch32``) applications.
Date: 2021-05-17
Introduction
============
Some Armv9 SoCs suffer from a big.LITTLE misfeature where only a subset
of the CPUs are capable of executing 32-bit user applications. On such
a system, Linux by default treats the asymmetry as a "mismatch" and
disables support for both the ``PER_LINUX32`` personality and
``execve(2)`` of 32-bit ELF binaries, with the latter returning
``-ENOEXEC``. If the mismatch is detected during late onlining of a
64-bit-only CPU, then the onlining operation fails and the new CPU is
unavailable for scheduling.
Surprisingly, these SoCs have been produced with the intention of
running legacy 32-bit binaries. Unsurprisingly, that doesn't work very
well with the default behaviour of Linux.
It seems inevitable that future SoCs will drop 32-bit support
altogether, so if you're stuck in the unenviable position of needing to
run 32-bit code on one of these transitionary platforms then you would
be wise to consider alternatives such as recompilation, emulation or
retirement. If neither of those options are practical, then read on.
Enabling kernel support
=======================
Since the kernel support is not completely transparent to userspace,
allowing 32-bit tasks to run on an asymmetric 32-bit system requires an
explicit "opt-in" and can be enabled by passing the
``allow_mismatched_32bit_el0`` parameter on the kernel command-line.
For the remainder of this document we will refer to an *asymmetric
system* to mean an asymmetric 32-bit SoC running Linux with this kernel
command-line option enabled.
Userspace impact
================
32-bit tasks running on an asymmetric system behave in mostly the same
way as on a homogeneous system, with a few key differences relating to
CPU affinity.
sysfs
-----
The subset of CPUs capable of running 32-bit tasks is described in
``/sys/devices/system/cpu/aarch32_el0`` and is documented further in
Documentation/ABI/testing/sysfs-devices-system-cpu.
**Note:** CPUs are advertised by this file as they are detected and so
late-onlining of 32-bit-capable CPUs can result in the file contents
being modified by the kernel at runtime. Once advertised, CPUs are never
removed from the file.
``execve(2)``
-------------
On a homogeneous system, the CPU affinity of a task is preserved across
``execve(2)``. This is not always possible on an asymmetric system,
specifically when the new program being executed is 32-bit yet the
affinity mask contains 64-bit-only CPUs. In this situation, the kernel
determines the new affinity mask as follows:
1. If the 32-bit-capable subset of the affinity mask is not empty,
then the affinity is restricted to that subset and the old affinity
mask is saved. This saved mask is inherited over ``fork(2)`` and
preserved across ``execve(2)`` of 32-bit programs.
**Note:** This step does not apply to ``SCHED_DEADLINE`` tasks.
See `SCHED_DEADLINE`_.
2. Otherwise, the cpuset hierarchy of the task is walked until an
ancestor is found containing at least one 32-bit-capable CPU. The
affinity of the task is then changed to match the 32-bit-capable
subset of the cpuset determined by the walk.
3. On failure (i.e. out of memory), the affinity is changed to the set
of all 32-bit-capable CPUs of which the kernel is aware.
A subsequent ``execve(2)`` of a 64-bit program by the 32-bit task will
invalidate the affinity mask saved in (1) and attempt to restore the CPU
affinity of the task using the saved mask if it was previously valid.
This restoration may fail due to intervening changes to the deadline
policy or cpuset hierarchy, in which case the ``execve(2)`` continues
with the affinity unchanged.
Calls to ``sched_setaffinity(2)`` for a 32-bit task will consider only
the 32-bit-capable CPUs of the requested affinity mask. On success, the
affinity for the task is updated and any saved mask from a prior
``execve(2)`` is invalidated.
``SCHED_DEADLINE``
------------------
Explicit admission of a 32-bit deadline task to the default root domain
(e.g. by calling ``sched_setattr(2)``) is rejected on an asymmetric
32-bit system unless admission control is disabled by writing -1 to
``/proc/sys/kernel/sched_rt_runtime_us``.
``execve(2)`` of a 32-bit program from a 64-bit deadline task will
return ``-ENOEXEC`` if the root domain for the task contains any
64-bit-only CPUs and admission control is enabled. Concurrent offlining
of 32-bit-capable CPUs may still necessitate the procedure described in
`execve(2)`_, in which case step (1) is skipped and a warning is
emitted on the console.
**Note:** It is recommended that a set of 32-bit-capable CPUs are placed
into a separate root domain if ``SCHED_DEADLINE`` is to be used with
32-bit tasks on an asymmetric system. Failure to do so is likely to
result in missed deadlines.
Cpusets
-------
The affinity of a 32-bit task on an asymmetric system may include CPUs
that are not explicitly allowed by the cpuset to which it is attached.
This can occur as a result of the following two situations:
- A 64-bit task attached to a cpuset which allows only 64-bit CPUs
executes a 32-bit program.
- All of the 32-bit-capable CPUs allowed by a cpuset containing a
32-bit task are offlined.
In both of these cases, the new affinity is calculated according to step
(2) of the process described in `execve(2)`_ and the cpuset hierarchy is
unchanged irrespective of the cgroup version.
CPU hotplug
-----------
On an asymmetric system, the first detected 32-bit-capable CPU is
prevented from being offlined by userspace and any such attempt will
return ``-EPERM``. Note that suspend is still permitted even if the
primary CPU (i.e. CPU 0) is 64-bit-only.
KVM
---
Although KVM will not advertise 32-bit EL0 support to any vCPUs on an
asymmetric system, a broken guest at EL1 could still attempt to execute
32-bit code at EL0. In this case, an exit from a vCPU thread in 32-bit
mode will return to host userspace with an ``exit_reason`` of
``KVM_EXIT_FAIL_ENTRY`` and will remain non-runnable until successfully
re-initialised by a subsequent ``KVM_ARM_VCPU_INIT`` operation.
NOHZ FULL
---------
To avoid perturbing an adaptive-ticks CPU (specified using
``nohz_full=``) when a 32-bit task is forcefully migrated, these CPUs
are treated as 64-bit-only when support for asymmetric 32-bit systems
is enabled.
3. 한국어 전문 번역
영어 원문의 문단 순서와 의미를 유지한 전체 번역입니다. 코드, 함수명, symbol과 URL은 원문 표기를 유지합니다.
문서 정보와 적용 대상
1-11문서 제목은 `Asymmetric 32-bit SoCs`, 작성자는 Will Deacon `<will@kernel.org>`, 날짜는 `2021-05-17`입니다.
비대칭 32-bit SoC가 32-bit, 즉 `AArch32` application 실행에 주는 영향을 설명합니다.
기본 Linux 동작과 대안
12-33일부 Armv9 SoC에는 CPU 일부만 32-bit user application을 실행할 수 있는 big.LITTLE 결함이 있습니다. Linux는 기본적으로 이 비대칭을 mismatch로 취급해 `PER_LINUX32` personality와 32-bit ELF binary의 `execve(2)`를 모두 비활성화하며, 후자는 `-ENOEXEC`을 반환합니다.
64-bit 전용 CPU를 늦게 online하는 중 mismatch를 감지하면 online 작업이 실패하고 새 CPU를 scheduling에 사용할 수 없습니다.
이런 SoC가 legacy 32-bit binary 실행을 목적으로 만들어졌지만 Linux 기본 동작과는 잘 맞지 않습니다. 향후 SoC는 32-bit 지원을 완전히 제거할 가능성이 높으므로 전환기 platform에서 32-bit code를 실행해야 한다면 recompilation, emulation 또는 retirement를 먼저 고려해야 합니다. 모두 현실적이지 않을 때만 아래 opt-in을 사용하십시오.
Kernel 지원 활성화
34-45Kernel 지원은 userspace에 완전히 투명하지 않으므로 비대칭 32-bit 시스템에서 32-bit task 실행을 허용하려면 명시적으로 opt-in해야 합니다. Kernel command line에 `allow_mismatched_32bit_el0`를 전달합니다.
이 문서의 나머지 부분에서 asymmetric system은 이 command-line option을 활성화한 채 Linux를 실행하는 비대칭 32-bit SoC를 뜻합니다.
Userspace 영향과 sysfs
46-64Asymmetric system의 32-bit task는 대체로 homogeneous system과 같지만 CPU affinity와 관련된 몇 가지 중요한 차이가 있습니다.
32-bit task를 실행할 수 있는 CPU subset은 `/sys/devices/system/cpu/aarch32_el0`에 표시하며 `Documentation/ABI/testing/sysfs-devices-system-cpu`에 자세히 문서화되어 있습니다.
CPU는 발견되는 즉시 이 file에 추가됩니다. 32-bit capable CPU를 늦게 online하면 runtime에 내용이 바뀔 수 있지만, 한 번 표시한 CPU는 file에서 제거하지 않습니다.
execve(2)와 CPU affinity
65-101Homogeneous system에서는 `execve(2)` 전후에 task의 CPU affinity가 유지됩니다. Asymmetric system에서 새 program은 32-bit인데 affinity mask에 64-bit 전용 CPU가 포함된 경우에는 그대로 유지할 수 없습니다. Kernel은 새 affinity mask를 다음 순서로 정합니다.
- 1. 현재 affinity mask에서 32-bit capable CPU subset이 비어 있지 않으면 그 subset으로 affinity를 제한하고 기존 mask를 저장합니다. 저장한 mask는 `fork(2)`로 상속되고 32-bit program의 `execve(2)`를 거쳐 보존됩니다. 이 단계는 `SCHED_DEADLINE` task에는 적용하지 않습니다.
- 2. 그렇지 않으면 task의 cpuset hierarchy를 올라가며 32-bit capable CPU를 하나 이상 포함한 ancestor를 찾습니다. 그 cpuset에서 32-bit capable subset을 구해 task affinity로 설정합니다.
- 3. Out-of-memory 같은 실패가 발생하면 kernel이 알고 있는 모든 32-bit capable CPU의 집합으로 affinity를 바꿉니다.
32-bit task가 나중에 64-bit program을 `execve(2)`하면 1단계에서 저장한 mask를 무효화하고, 이전에 유효했다면 그 mask로 task의 CPU affinity 복원을 시도합니다. 그 사이 deadline policy나 cpuset hierarchy가 바뀌어 복원에 실패할 수 있으며, 이때 `execve(2)`는 affinity를 바꾸지 않고 계속됩니다.
32-bit task에 대한 `sched_setaffinity(2)`는 요청 mask의 32-bit capable CPU만 고려합니다. 성공하면 task affinity를 갱신하고 이전 `execve(2)`가 저장한 mask를 무효화합니다.
SCHED_DEADLINE
102-121비대칭 32-bit 시스템에서 32-bit deadline task를 기본 root domain에 명시적으로 admission하는 작업, 예를 들어 `sched_setattr(2)` 호출은 admission control을 끄지 않은 한 거부됩니다. Admission control은 `/proc/sys/kernel/sched_rt_runtime_us`에 `-1`을 써서 끌 수 있습니다.
64-bit deadline task가 32-bit program을 `execve(2)`할 때 task의 root domain에 64-bit 전용 CPU가 하나라도 있고 admission control이 켜져 있으면 `-ENOEXEC`을 반환합니다. 32-bit capable CPU를 동시에 offline하는 상황에서는 앞의 `execve(2)` 절차가 여전히 필요할 수 있으며, 이때 1단계를 건너뛰고 console에 warning을 출력합니다.
Asymmetric system에서 32-bit task와 `SCHED_DEADLINE`을 함께 사용하려면 32-bit capable CPU 집합을 별도 root domain에 두기를 권장합니다. 그렇지 않으면 deadline을 놓칠 가능성이 큽니다.
Cpuset
122-138Asymmetric system의 32-bit task affinity에는 연결된 cpuset이 명시적으로 허용하지 않은 CPU가 포함될 수 있습니다. 다음 두 상황에서 발생합니다.
- 64-bit CPU만 허용하는 cpuset에 연결된 64-bit task가 32-bit program을 실행합니다.
- 32-bit task를 포함한 cpuset이 허용하던 32-bit capable CPU가 모두 offline됩니다.
두 경우 모두 앞 `execve(2)` 절차의 2단계에 따라 새 affinity를 계산합니다. Cgroup version과 관계없이 cpuset hierarchy 자체는 바뀌지 않습니다.
CPU hotplug
139-146Asymmetric system에서 처음 감지한 32-bit capable CPU는 userspace가 offline할 수 없으며 시도하면 `-EPERM`을 반환합니다. Primary CPU인 CPU 0이 64-bit 전용이어도 suspend는 허용됩니다.
KVM
147-156KVM은 asymmetric system의 어떤 vCPU에도 32-bit EL0 지원을 알리지 않습니다. 그래도 손상된 EL1 guest가 EL0에서 32-bit code 실행을 시도할 수 있습니다.
이 경우 32-bit mode의 vCPU thread에서 exit하면 host userspace에 `exit_reason`이 `KVM_EXIT_FAIL_ENTRY`인 상태로 돌아오며, 뒤의 `KVM_ARM_VCPU_INIT` 작업이 성공적으로 다시 초기화할 때까지 실행할 수 없습니다.
NOHZ FULL
157-16332-bit task를 강제로 migrate할 때 `nohz_full=`로 지정한 adaptive-ticks CPU를 방해하지 않도록, asymmetric 32-bit 지원이 활성화되면 이 CPU들을 64-bit 전용으로 취급합니다.
요약과 해설
asymmetric-32bit.rst:1-163`allow_mismatched_32bit_el0`는 전환기 SoC에서 32-bit binary를 실행하게 하지만 CPU affinity를 동적으로 제한하므로 userspace에 완전히 투명하지 않습니다. Recompile이나 emulation이 가능하다면 그 방법이 더 안정적입니다.
현재 mask에서 시작해 cpuset ancestor와 전체 capable CPU 집합으로 단계적으로 fallback합니다.
CPU capability 차이가 각 subsystem의 정책으로 드러납니다.