Multi-Level Interleave

다단계 interleave 구성

.. SPDX-License-Identifier: GPL-2.0

이 `Multi-Level Interleave`의 `cxl-cli` configuration dump는 다음 host 구성을 보여 줍니다.

• CXL root가 하나인 single-socket system입니다.
• CXL Root에는 CXL Host Bridge가 네 개 있습니다.
• 그중 두 CXL Host Bridge에 CXL Memory Expander가 두 개씩 연결되어 있습니다.
• CXL root는 두 host bridge에 걸쳐 interleave하도록 구성되어 있습니다.
• Expander가 있는 각 host bridge도 두 endpoint에 걸쳐 interleave합니다.

이 출력은 `cxl list -v`로 생성했으며 `/sys/bus/cxl/devices/`에 노출되는 object 사이의 관계를 설명합니다.

CXL root bus와 downstream port

[
  {
      "bus":"root0",
      "provider":"ACPI.CXL",
      "nr_dports":4,
      "dports":[
          {
              "dport":"pci0000:00",
              "alias":"ACPI0016:01",
              "id":0
          },
          {
              "dport":"pci0000:a8",
              "alias":"ACPI0016:02",
              "id":4
          },
          {
              "dport":"pci0000:2a",
              "alias":"ACPI0016:03",
              "id":1
          },
          {
              "dport":"pci0000:d2",
              "alias":"ACPI0016:00",
              "id":5
          }
      ],

이 부분은 CXL `bus`인 `root0`에 CXL Host Bridge로 연결되는 downstream port 네 개가 있음을 보여 줍니다. `Root`는 platform memory controller에 연결된 하나의 upstream port로 볼 수 있고, memory controller는 memory request를 이 port로 routing합니다.

`ports:root0` section은 각 downstream port의 구성을 펼쳐 보여 줍니다. 구성되지 않은 port, 즉 ID 0과 1은 이 section에서 생략됩니다.

Host Bridge port1의 downstream port

"ports:root0":[
    {
        "port":"port1",
        "host":"pci0000:d2",
        "depth":1,
        "nr_dports":3,
        "dports":[
            {
                "dport":"0000:d2:01.1",
                "alias":"device:02",
                "id":0
            },
            {
                "dport":"0000:d2:01.3",
                "alias":"device:05",
                "id":2
            },
            {
                "dport":"0000:d2:07.1",
                "alias":"device:0d",
                "id":113
            }
        ],

이 부분은 CXL Host Bridge `port1`에 연결된 사용 가능한 downstream port를 보여 줍니다. 여기서 `port1`에는 `dport0`, `dport2`, `dport113`이라는 downstream port 세 개가 있습니다.

port1의 endpoint5와 endpoint6

"endpoints:port1":[
    {
        "endpoint":"endpoint5",
        "host":"mem0",
        "parent_dport":"0000:d2:01.1",
        "depth":2,
        "memdev":{
            "memdev":"mem0",
            "ram_size":137438953472,
            "serial":0,
            "numa_node":0,
            "host":"0000:d3:00.0"
        },
        "decoders:endpoint5":[
            {
                "decoder":"decoder5.0",
                "resource":825975898112,
                "size":549755813888,
                "interleave_ways":4,
                "interleave_granularity":256,
                "region":"region0",
                "dpa_resource":0,
                "dpa_size":137438953472,
                "mode":"ram"
            }
        ]
    },
    {
        "endpoint":"endpoint6",
        "host":"mem1",
        "parent_dport":"0000:d2:01.3",
        "depth":2,
        "memdev":{
            "memdev":"mem1",
            "ram_size":137438953472,
            "serial":0,
            "numa_node":0,
            "host":"0000:d3:00.0"
        },
        "decoders:endpoint6":[
            {
                "decoder":"decoder6.0",
                "resource":825975898112,
                "size":549755813888,
                "interleave_ways":4,
                "interleave_granularity":256,
                "region":"region0",
                "dpa_resource":0,
                "dpa_size":137438953472,
                "mode":"ram"
            }
        ]
    }
],

이 부분은 host bridge `port1`에 연결된 endpoint를 보여 줍니다. `endpoint5`는 `mem0` 및 `0000:d2:01.1`에, `endpoint6`은 `mem1` 및 `0000:d2:01.3`에 연결됩니다.

`decoder5.0`과 `decoder6.0`은 모두 `region0`의 전체 구성을 반영해 4-way, 256-byte granularity, 549755813888-byte region을 decode합니다. 각 endpoint가 제공하는 DPA size는 137438953472 byte이고 mode는 `ram`입니다.

원문 설명은 `endpoint6`의 decoder도 `decoder5.0`이라고 적었지만 dump에는 `decoder6.0`으로 표시됩니다. 원문 블록과 설명은 수정하지 않고 각각의 표기를 해설에서 구분합니다.

다음으로 host bridge 자체에 속한 decoder가 이어집니다.

port1의 Host Bridge decoder

    "decoders:port1":[
        {
            "decoder":"decoder1.0",
            "resource":825975898112,
            "size":549755813888,
            "interleave_ways":2,
            "interleave_granularity":512,
            "region":"region0",
            "nr_targets":2,
            "targets":[
                {
                    "target":"0000:d2:01.1",
                    "alias":"device:02",
                    "position":0,
                    "id":0
                },
                {
                    "target":"0000:d2:01.3",
                    "alias":"device:05",
                    "position":2,
                    "id":0
                }
            ]
        }
    ]
},

Host Bridge `port1`에는 decoder `decoder1.0`이 하나 있습니다. target은 `dport0`과 `dport2`이며 각각 `endpoint5`와 `endpoint6`에 연결됩니다. target position은 0과 2입니다.

이 bridge decoder는 2-way interleave와 512-byte granularity를 사용합니다. 상위 root의 256-byte, 2-way interleave 한 cycle이 512 byte이므로 host bridge 내부 선택 단위가 이에 맞춰집니다.

이어서 memory device가 연결된 두 번째 host bridge인 `port3`의 유사한 구성을 보여 줍니다.

Host Bridge port3과 두 endpoint

{
    "port":"port3",
    "host":"pci0000:a8",
    "depth":1,
    "nr_dports":1,
    "dports":[
        {
            "dport":"0000:a8:01.1",
            "alias":"device:c3",
            "id":0
        },
        {
            "dport":"0000:a8:01.3",
            "alias":"device:c5",
            "id":0
        }
    ],
    "endpoints:port3":[
        {
            "endpoint":"endpoint7",
            "host":"mem2",
            "parent_dport":"0000:a8:01.1",
            "depth":2,
            "memdev":{
                "memdev":"mem2",
                "ram_size":137438953472,
                "serial":0,
                "numa_node":0,
                "host":"0000:a9:00.0"
            },
            "decoders:endpoint7":[
                {
                    "decoder":"decoder7.0",
                    "resource":825975898112,
                    "size":549755813888,
                    "interleave_ways":4,
                    "interleave_granularity":256,
                    "region":"region0",
                    "dpa_resource":0,
                    "dpa_size":137438953472,
                    "mode":"ram"
                }
            ]
        },
        {
            "endpoint":"endpoint8",
            "host":"mem3",
            "parent_dport":"0000:a8:01.3",
            "depth":2,
            "memdev":{
                "memdev":"mem3",
                "ram_size":137438953472,
                "serial":0,
                "numa_node":0,
                "host":"0000:a9:00.0"
            },
            "decoders:endpoint8":[
                {
                    "decoder":"decoder8.0",
                    "resource":825975898112,
                    "size":549755813888,
                    "interleave_ways":4,
                    "interleave_granularity":256,
                    "region":"region0",
                    "dpa_resource":0,
                    "dpa_size":137438953472,
                    "mode":"ram"
                }
            ]
        }
    ],
    "decoders:port3":[
        {
            "decoder":"decoder3.0",
            "resource":825975898112,
            "size":549755813888,
            "interleave_ways":2,
            "interleave_granularity":512,
            "region":"region0",
            "nr_targets":1,
            "targets":[
                {
                    "target":"0000:a8:01.1",
                    "alias":"device:c3",
                    "position":1,
                    "id":0
                },
                {
                    "target":"0000:a8:01.3",
                    "alias":"device:c5",
                    "position":3,
                    "id":0
                }
            ]
        }
    ]
},

`port3`에는 downstream port `0000:a8:01.1`과 `0000:a8:01.3`이 있고, 각각 `mem2`의 `endpoint7`과 `mem3`의 `endpoint8`이 연결됩니다.

`decoder7.0`과 `decoder8.0`도 4-way, 256-byte granularity, 549755813888-byte region을 decode하며 각각 137438953472-byte DPA를 제공합니다.

Host Bridge decoder `decoder3.0`은 2-way, 512-byte granularity로 두 target을 position 1과 3에 배치합니다. dump의 `nr_targets` 값은 1이지만 실제 `targets` 배열에는 두 항목이 있으며, 이 불일치는 원문 그대로 보존됩니다.

다음 부분은 endpoint가 연결되지 않은 CXL host bridge 두 개를 보여 줍니다.

Endpoint가 없는 두 Host Bridge

    {
        "port":"port2",
        "host":"pci0000:00",
        "depth":1,
        "nr_dports":2,
        "dports":[
            {
                "dport":"0000:00:01.3",
                "alias":"device:55",
                "id":2
            },
            {
                "dport":"0000:00:07.1",
                "alias":"device:5d",
                "id":113
            }
        ]
    },
    {
        "port":"port4",
        "host":"pci0000:2a",
        "depth":1,
        "nr_dports":1,
        "dports":[
            {
                "dport":"0000:2a:01.1",
                "alias":"device:d0",
                "id":0
            }
        ]
    }
],

`port2`에는 downstream port 두 개가 있고 `port4`에는 하나가 있지만, 어느 bridge에도 endpoint나 구성된 decoder가 표시되지 않습니다.

다음은 `root0`에 속한 `Root Decoder`입니다. 이 root decoder는 downstream port `port1`과 `port3`에 걸쳐 256-byte granularity로 interleave를 적용합니다.

이 정보는 CXL driver가 ACPI CEDT의 CFMWS를 읽어 생성하며, 원문에는 구조 이름이 `CMFWS`로 표기되어 있습니다.

root0의 Root Decoder

"decoders:root0":[
    {
        "decoder":"decoder0.0",
        "resource":825975898112,
        "size":549755813888,
        "interleave_ways":2,
        "interleave_granularity":256,
        "max_available_extent":0,
        "volatile_capable":true,
        "nr_targets":2,
        "targets":[
            {
                "target":"pci0000:a8",
                "alias":"ACPI0016:02",
                "position":1,
                "id":4
            },
            {
                "target":"pci0000:d2",
                "alias":"ACPI0016:00",
                "position":0,
                "id":5
            }
        ],

`decoder0.0`은 2-way, 256-byte granularity를 사용합니다. target position 0은 `pci0000:d2`의 `port1`, position 1은 `pci0000:a8`의 `port3`입니다.

마지막은 `Root Decoder` `decoder0.0`과 연결된 `Memory Region`입니다. 이 region은 interleave set 전체의 구성을 설명하며, 네 endpoint decoder에 걸친 interleave target은 총 4개입니다.

4-way Memory Region

              "regions:decoder0.0":[
                  {
                      "region":"region0",
                      "resource":825975898112,
                      "size":549755813888,
                      "type":"ram",
                      "interleave_ways":4,
                      "interleave_granularity":256,
                      "decode_state":"commit",
                      "mappings":[
                          {
                              "position":3,
                              "memdev":"mem3",
                              "decoder":"decoder8.0"
                          },
                          {
                              "position":2,
                              "memdev":"mem1",
                              "decoder":"decoder6.0"
                          }
                          {
                              "position":1,
                              "memdev":"mem2",
                              "decoder":"decoder7.0"
                          },
                          {
                              "position":0,
                              "memdev":"mem0",
                              "decoder":"decoder5.0"
                          }
                      ]
                  }
              ]
          }
      ]
  }
]

`region0`은 549755813888-byte RAM region이며 4-way, 256-byte granularity로 `commit`된 상태입니다. mapping position 0은 `mem0`의 `decoder5.0`, position 1은 `mem2`의 `decoder7.0`, position 2는 `mem1`의 `decoder6.0`, position 3은 `mem3`의 `decoder8.0`입니다.

이 position 순서는 root decoder가 `port1`과 `port3`을 번갈아 선택하고, 각 host bridge decoder가 자기 아래 두 endpoint를 다시 번갈아 선택한 결과입니다.

원문 JSON에는 position 2 mapping 객체 뒤의 쉼표가 빠져 있습니다. 이 구문 오류도 원문 블록에서는 수정하지 않고 그대로 보존합니다.