One Device per Host Bridge

host bridge마다 device 하나가 있는 구성

.. SPDX-License-Identifier: GPL-2.0

이 system은 socket 하나와 CXL host bridge 두 개를 갖습니다. 각 host bridge에는 4GB memory를 가진 CXL memory expander 하나가 연결됩니다.

주목할 사항은 다음과 같습니다.

• Cross-Bridge interleave를 사용하지 않습니다.
• 두 expander는 서로 분리되어 있지만 인접한 memory region에 있습니다.
• CEDT/SRAT는 device마다 node 하나를 설명합니다.
• 두 expander의 성능은 같으며 같은 memory tier에 배치됩니다.

CEDT: host bridge별 독립 CFMWS

CEDT는 associated host bridge 00000007과 00000006인 CXL Host Bridge Structure 두 개를 선언합니다. UID 07의 register base는 0000010370400000, UID 06의 register base는 0000010380800000이며 두 register length는 모두 0000000000010000입니다.

           Subtable Type : 00 [CXL Host Bridge Structure]
                Reserved : 00
                  Length : 0020
  Associated host bridge : 00000007
   Specification version : 00000001
                Reserved : 00000000
           Register base : 0000010370400000
         Register length : 0000000000010000

           Subtable Type : 00 [CXL Host Bridge Structure]
                Reserved : 00
                  Length : 0020
  Associated host bridge : 00000006
   Specification version : 00000001
                Reserved : 00000000
           Register base : 0000010380800000
         Register length : 0000000000010000

           Subtable Type : 01 [CXL Fixed Memory Window Structure]
                Reserved : 00
                  Length : 002C
                Reserved : 00000000
     Window base address : 0000001000000000
             Window size : 0000000100000000
Interleave Members (2^n) : 00
   Interleave Arithmetic : 00
                Reserved : 0000
             Granularity : 00000000
            Restrictions : 0006
                   QtgId : 0001
            First Target : 00000007

           Subtable Type : 01 [CXL Fixed Memory Window Structure]
                Reserved : 00
                  Length : 002C
                Reserved : 00000000
     Window base address : 0000001100000000
             Window size : 0000000100000000
Interleave Members (2^n) : 00
   Interleave Arithmetic : 00
                Reserved : 0000
             Granularity : 00000000
            Restrictions : 0006
                   QtgId : 0001
            First Target : 00000006

첫 CFMWS는 base 0000001000000000, size 0000000100000000, First Target 00000007을 사용합니다. 두 번째 CFMWS는 바로 인접한 base 0000001100000000에서 같은 size를 사용하고 First Target은 00000006입니다.

두 CFMWS 모두 `Interleave Members (2^n)` 00, arithmetic 00, granularity 00000000, `Restrictions` 0006, `QtgId` 0001입니다. target이 하나씩이므로 host bridge 간 interleave는 구성하지 않습니다.

SRAT: device별 proximity domain

SRAT은 CFMWS 두 개를 별도 Memory Affinity entry로 기술합니다. proximity domain 00000001은 첫 4GB range에, domain 00000002는 인접한 두 번째 4GB range에 대응합니다.

        Subtable Type : 01 [Memory Affinity]
               Length : 28
     Proximity Domain : 00000001
            Reserved1 : 0000
         Base Address : 0000001000000000
       Address Length : 0000000100000000
            Reserved2 : 00000000
Flags (decoded below) : 0000000B
            Enabled : 1
      Hot Pluggable : 1
       Non-Volatile : 0

        Subtable Type : 01 [Memory Affinity]
               Length : 28
     Proximity Domain : 00000002
            Reserved1 : 0000
         Base Address : 0000001100000000
       Address Length : 0000000100000000
            Reserved2 : 00000000
Flags (decoded below) : 0000000B
            Enabled : 1
      Hot Pluggable : 1
       Non-Volatile : 0

두 entry의 flags는 모두 0000000B입니다. `Enabled`와 `Hot Pluggable`은 1이고 `Non-Volatile`은 0이므로 두 node 모두 활성화된 hot-pluggable volatile memory입니다.

HMAT: 같은 memory tier의 동일 성능

HMAT SLLBI는 proximity domain 00000000, 00000001, 00000002에 대한 latency와 bandwidth를 제공합니다. 두 CXL device domain은 같은 성능 entry를 받아 같은 memory tier에 속합니다.

              Structure Type : 0001 [SLLBI]
                   Data Type : 00   [Latency]
Target Proximity Domain List : 00000000
Target Proximity Domain List : 00000001
Target Proximity Domain List : 00000002
                       Entry : 0080
                       Entry : 0100
                       Entry : 0100

              Structure Type : 0001 [SLLBI]
                   Data Type : 03   [Bandwidth]
Target Proximity Domain List : 00000000
Target Proximity Domain List : 00000001
Target Proximity Domain List : 00000002
                       Entry : 1200
                       Entry : 0200
                       Entry : 0200

data type 00의 latency entry는 0080, 0100, 0100이고 data type 03의 bandwidth entry는 1200, 0200, 0200입니다. domain 1과 2의 값이 동일하므로 두 expander의 성능 등급도 같습니다.

SLIT: 세 locality의 거리 matrix

SLIT(System Locality Information Table)는 locality 세 개의 abstract distance matrix를 제공합니다. locality 0은 자신에게 10, 두 CXL locality에 20을 갖습니다. locality 1과 2는 자신의 local distance가 0A이고 나머지 CXL 방향은 FF입니다.

   Signature : "SLIT"    [System Locality Information Table]
  Localities : 0000000000000003
Locality   0 : 10 20 20
Locality   1 : FF 0A FF
Locality   2 : FF FF 0A

DSDT: 두 CXL host bridge identity

DSDT의 `_SB` scope에는 CXL host bridge device S0D0과 S0D5가 있습니다. 두 device의 `_HID`는 Compute Express Link Host Bridge를 뜻하는 `ACPI0016`입니다.

Scope (_SB)
{
  Device (S0D0)
  {
      Name (_HID, "ACPI0016" /* Compute Express Link Host Bridge */)  // _HID: Hardware ID
      ...
      Name (_UID, 0x07)  // _UID: Unique ID
  }
  ...
  Device (S0D5)
  {
      Name (_HID, "ACPI0016" /* Compute Express Link Host Bridge */)  // _HID: Hardware ID
      ...
      Name (_UID, 0x06)  // _UID: Unique ID
  }
}

S0D0의 `_UID` 0x07은 첫 CHBS와 첫 CFMWS target에, S0D5의 `_UID` 0x06은 두 번째 CHBS와 두 번째 CFMWS target에 대응합니다. 이 identity 분리로 각 device의 memory region과 NUMA node를 독립적으로 연결할 수 있습니다.