← Documents Documentation/admin-guide/perf/hisi-pcie-pmu.rst GitHub 원문 ↗

Linux 6.18.37 · Administration / Performance

HiSilicon PCIe Performance Monitoring Unit

Hip09 PCIe Core PMU의 event group, Root Port/Endpoint 선택, TLP 길이 filter를 설명합니다.

Source pathDocumentation/admin-guide/perf/hisi-pcie-pmu.rst
Source versionLinux v6.18.37
TranslationDUJINLABS 전문 번역 + 해설

요약·해설과 원문, 전문 번역을 서로 분리했습니다. API 이름, symbol, source path는 원문 표기를 사용합니다.

1. 요약·해설

원문의 핵심 논리와 kernel programming 관점의 보충 설명입니다. 아래의 전문 번역과는 별도로 작성했습니다.

운영 요약

hisi-pcie-pmu.rst:1-148

PCIe Core 단위 PMU를 찾아 관련 event를 한 group에서 측정하고, `port` 또는 `bdf`로 traffic 대상을 정한 뒤 TLP trigger, threshold, 길이 구성을 적용합니다.

관점핵심
대상Hip09 HiSilicon PCIe Core PMU
측정값Bandwidth, latency, bus utilization, buffer occupancy
범위PCIe Core의 여러 Root Port와 그 하위 Endpoint
식별`sicl-id`와 PCIe Core ID
필터`port`, `bdf`, trigger, threshold, TLP length
제한Sampling, `perf record`, task attach 미지원

2. 영어 원문 전체

번역 기준이 된 Linux v6.18.37 원문입니다. 줄 번호는 이 버전의 파일 좌표입니다.

원문 전체 펼치기
1 ================================================
2 HiSilicon PCIe Performance Monitoring Unit (PMU)
3 ================================================
4
5 On Hip09, HiSilicon PCIe Performance Monitoring Unit (PMU) could monitor
6 bandwidth, latency, bus utilization and buffer occupancy data of PCIe.
7
8 Each PCIe Core has a PMU to monitor multi Root Ports of this PCIe Core and
9 all Endpoints downstream these Root Ports.
10
11
12 HiSilicon PCIe PMU driver
13 =========================
14
15 The PCIe PMU driver registers a perf PMU with the name of its sicl-id and PCIe
16 Core id.::
17
18 /sys/bus/event_source/hisi_pcie<sicl>_core<core>
19
20 PMU driver provides description of available events and filter options in sysfs,
21 see /sys/bus/event_source/devices/hisi_pcie<sicl>_core<core>.
22
23 The "format" directory describes all formats of the config (events) and config1
24 (filter options) fields of the perf_event_attr structure. The "events" directory
25 describes all documented events shown in perf list.
26
27 The "identifier" sysfs file allows users to identify the version of the
28 PMU hardware device.
29
30 The "bus" sysfs file allows users to get the bus number of Root Ports
31 monitored by PMU. Furthermore users can get the Root Ports range in
32 [bdf_min, bdf_max] from "bdf_min" and "bdf_max" sysfs attributes
33 respectively.
34
35 Example usage of perf::
36
37 $# perf list
38 hisi_pcie0_core0/rx_mwr_latency/ [kernel PMU event]
39 hisi_pcie0_core0/rx_mwr_cnt/ [kernel PMU event]
40 ------------------------------------------
41
42 $# perf stat -e hisi_pcie0_core0/rx_mwr_latency,port=0xffff/
43 $# perf stat -e hisi_pcie0_core0/rx_mwr_cnt,port=0xffff/
44
45 The related events usually used to calculate the bandwidth, latency or others.
46 They need to start and end counting at the same time, therefore related events
47 are best used in the same event group to get the expected value. There are two
48 ways to know if they are related events:
49
50 a) By event name, such as the latency events "xxx_latency, xxx_cnt" or
51 bandwidth events "xxx_flux, xxx_time".
52 b) By event type, such as "event=0xXXXX, event=0x1XXXX".
53
54 Example usage of perf group::
55
56 $# perf stat -e "{hisi_pcie0_core0/rx_mwr_latency,port=0xffff/,hisi_pcie0_core0/rx_mwr_cnt,port=0xffff/}"
57
58 The current driver does not support sampling. So "perf record" is unsupported.
59 Also attach to a task is unsupported for PCIe PMU.
60
61 Filter options
62 --------------
63
64 1. Target filter
65
66 PMU could only monitor the performance of traffic downstream target Root
67 Ports or downstream target Endpoint. PCIe PMU driver support "port" and
68 "bdf" interfaces for users.
69 Please notice that, one of these two interfaces must be set, and these two
70 interfaces aren't supported at the same time. If they are both set, only
71 "port" filter is valid.
72 If "port" filter not being set or is set explicitly to zero (default), the
73 "bdf" filter will be in effect, because "bdf=0" meaning 0000:000:00.0.
74
75 - port
76
77 "port" filter can be used in all PCIe PMU events, target Root Port can be
78 selected by configuring the 16-bits-bitmap "port". Multi ports can be
79 selected for AP-layer-events, and only one port can be selected for
80 TL/DL-layer-events.
81
82 For example, if target Root Port is 0000:00:00.0 (x8 lanes), bit0 of
83 bitmap should be set, port=0x1; if target Root Port is 0000:00:04.0 (x4
84 lanes), bit8 is set, port=0x100; if these two Root Ports are both
85 monitored, port=0x101.
86
87 Example usage of perf::
88
89 $# perf stat -e hisi_pcie0_core0/rx_mwr_latency,port=0x1/ sleep 5
90
91 - bdf
92
93 "bdf" filter can only be used in bandwidth events, target Endpoint is
94 selected by configuring BDF to "bdf". Counter only counts the bandwidth of
95 message requested by target Endpoint.
96
97 For example, "bdf=0x3900" means BDF of target Endpoint is 0000:39:00.0.
98
99 Example usage of perf::
100
101 $# perf stat -e hisi_pcie0_core0/rx_mrd_flux,bdf=0x3900/ sleep 5
102
103 2. Trigger filter
104
105 Event statistics start when the first time TLP length is greater/smaller
106 than trigger condition. You can set the trigger condition by writing
107 "trig_len", and set the trigger mode by writing "trig_mode". This filter can
108 only be used in bandwidth events.
109
110 For example, "trig_len=4" means trigger condition is 2^4 DW, "trig_mode=0"
111 means statistics start when TLP length > trigger condition, "trig_mode=1"
112 means start when TLP length < condition.
113
114 Example usage of perf::
115
116 $# perf stat -e hisi_pcie0_core0/rx_mrd_flux,port=0xffff,trig_len=0x4,trig_mode=1/ sleep 5
117
118 3. Threshold filter
119
120 Counter counts when TLP length within the specified range. You can set the
121 threshold by writing "thr_len", and set the threshold mode by writing
122 "thr_mode". This filter can only be used in bandwidth events.
123
124 For example, "thr_len=4" means threshold is 2^4 DW, "thr_mode=0" means
125 counter counts when TLP length >= threshold, and "thr_mode=1" means counts
126 when TLP length < threshold.
127
128 Example usage of perf::
129
130 $# perf stat -e hisi_pcie0_core0/rx_mrd_flux,port=0xffff,thr_len=0x4,thr_mode=1/ sleep 5
131
132 4. TLP Length filter
133
134 When counting bandwidth, the data can be composed of certain parts of TLP
135 packets. You can specify it through "len_mode":
136
137 - 2'b00: Reserved (Do not use this since the behaviour is undefined)
138 - 2'b01: Bandwidth of TLP payloads
139 - 2'b10: Bandwidth of TLP headers
140 - 2'b11: Bandwidth of both TLP payloads and headers
141
142 For example, "len_mode=2" means only counting the bandwidth of TLP headers
143 and "len_mode=3" means the final bandwidth data is composed of both TLP
144 headers and payloads. Default value if not specified is 2'b11.
145
146 Example usage of perf::
147
148 $# perf stat -e hisi_pcie0_core0/rx_mrd_flux,port=0xffff,len_mode=0x1/ sleep 5
149

3. 한국어 전문 번역

영어 원문의 문단 순서와 의미를 유지한 전체 번역입니다. 코드, 함수명, symbol과 URL은 원문 표기를 유지합니다.

Hip09 PCIe Core PMU

1-10

`HiSilicon PCIe Performance Monitoring Unit (PMU)`은 Hip09에서 PCIe의 bandwidth, latency, bus utilization, buffer occupancy 데이터를 감시할 수 있습니다.

각 PCIe Core에는 PMU 하나가 있으며, 이 PMU는 해당 PCIe Core의 여러 Root Port와 그 Root Port 아래에 연결된 모든 Endpoint를 감시합니다.

PMU 등록과 sysfs 속성

11-33

PCIe PMU driver는 `sicl-id`와 PCIe Core ID를 조합한 이름으로 perf PMU를 등록합니다.

/sys/bus/event_source/hisi_pcie<sicl>_core<core>

사용 가능한 event와 filter option은 `/sys/bus/event_source/devices/hisi_pcie<sicl>_core<core>` 아래의 sysfs 속성으로 설명됩니다.

항목의미
PMU 경로`/sys/bus/event_source/hisi_pcie<sicl>_core<core>`
장치 경로`/sys/bus/event_source/devices/hisi_pcie<sicl>_core<core>`
`format``config` event와 `config1` filter option 형식
`events``perf list`에 표시할 문서화된 event
`identifier`PMU hardware device 버전
`bus`PMU가 감시하는 Root Port의 bus 번호
`bdf_min`, `bdf_max`감시 가능한 Root Port의 BDF 범위

`format` directory는 `perf_event_attr` 구조체의 `config` event field와 `config1` filter option field 형식을 정의하고, `events` directory는 `perf list`에 보이는 문서화된 event를 제공합니다.

`identifier`로 PMU hardware device 버전을 구분합니다. `bus`에서 감시 대상 Root Port의 bus 번호를 읽고, `bdf_min`과 `bdf_max`에서 각각 `[bdf_min, bdf_max]` 범위의 하한과 상한을 확인할 수 있습니다.

Perf event와 관련 event group

34-59

`perf list`로 event alias를 확인한 뒤, `rx_mwr_latency`와 `rx_mwr_cnt`처럼 각 event를 `perf stat`으로 셉니다.

$# perf list
hisi_pcie0_core0/rx_mwr_latency/ [kernel PMU event]
hisi_pcie0_core0/rx_mwr_cnt/ [kernel PMU event]
------------------------------------------

$# perf stat -e hisi_pcie0_core0/rx_mwr_latency,port=0xffff/
$# perf stat -e hisi_pcie0_core0/rx_mwr_cnt,port=0xffff/

Bandwidth, latency 등의 값을 계산하는 관련 event는 같은 시점에 counting을 시작하고 끝내야 하므로 하나의 event group에 넣는 것이 좋습니다.

판별 기준관련 event 쌍
이름Latency는 `xxx_latency, xxx_cnt`, bandwidth는 `xxx_flux, xxx_time`
유형`event=0xXXXX, event=0x1XXXX`
$# perf stat -e "{hisi_pcie0_core0/rx_mwr_latency,port=0xffff/,hisi_pcie0_core0/rx_mwr_cnt,port=0xffff/}"

현재 driver는 sampling을 지원하지 않아 `perf record`를 사용할 수 없습니다. PCIe PMU event를 task에 attach하는 것도 지원하지 않습니다.

Root Port와 Endpoint 선택

60-102

Target filter는 하위 traffic을 감시할 Root Port 또는 Endpoint를 선택합니다. `port`와 `bdf` 중 하나를 설정해야 하며 둘을 동시에 사용할 수 없습니다. 둘 다 설정하면 `port`만 유효합니다.

`port`를 설정하지 않거나 명시적으로 기본값 0으로 설정하면 `bdf`가 적용됩니다. 이때 `bdf=0` 자체는 `0000:000:00.0`을 뜻합니다.

Interface대상과 범위
`port`16-bit bitmap으로 Root Port 선택; 모든 event에서 사용 가능
`bdf`Endpoint BDF 선택; bandwidth event에서만 사용 가능

`port`는 16-bit bitmap입니다. AP-layer event는 여러 port를 선택할 수 있지만 TL/DL-layer event는 port 하나만 선택할 수 있습니다.

`0000:00:00.0`이 x8 lane Root Port이면 bit 0을 켜 `port=0x1`로 지정합니다. `0000:00:04.0`이 x4 lane Root Port이면 bit 8을 켜 `port=0x100`으로 지정하며, 두 Root Port를 함께 감시하면 `port=0x101`입니다.

$# perf stat -e hisi_pcie0_core0/rx_mwr_latency,port=0x1/ sleep 5

`bdf` filter는 bandwidth event에서만 사용할 수 있습니다. 지정한 Endpoint가 요청한 message의 bandwidth만 counter가 세며, `bdf=0x3900`은 target Endpoint `0000:39:00.0`을 뜻합니다.

$# perf stat -e hisi_pcie0_core0/rx_mrd_flux,bdf=0x3900/ sleep 5

TLP 길이 trigger

103-117

Trigger filter는 TLP length가 조건을 처음 만족하는 순간부터 event 통계를 시작합니다. `trig_len`으로 조건 길이를, `trig_mode`로 비교 방향을 설정하며 bandwidth event에서만 사용할 수 있습니다.

`trig_len=4`는 trigger condition이 `2^4 DW`임을 뜻합니다.

Mode통계 시작 조건
`trig_mode=0`TLP length가 trigger condition보다 클 때 통계 시작
`trig_mode=1`TLP length가 trigger condition보다 작을 때 통계 시작
$# perf stat -e hisi_pcie0_core0/rx_mrd_flux,port=0xffff,trig_len=0x4,trig_mode=1/ sleep 5

TLP 길이 threshold

118-131

Threshold filter는 TLP length가 지정한 범위에 있을 때만 counter를 증가시킵니다. `thr_len`으로 threshold를, `thr_mode`로 비교 방향을 설정하며 bandwidth event에서만 사용할 수 있습니다.

`thr_len=4`는 threshold가 `2^4 DW`임을 뜻합니다.

ModeCount 조건
`thr_mode=0`TLP length가 threshold 이상일 때 count
`thr_mode=1`TLP length가 threshold보다 작을 때 count
$# perf stat -e hisi_pcie0_core0/rx_mrd_flux,port=0xffff,thr_len=0x4,thr_mode=1/ sleep 5

Bandwidth를 구성할 TLP 부분

132-148

Bandwidth를 셀 때 `len_mode`로 TLP packet의 어느 부분을 데이터에 포함할지 선택합니다.

`len_mode`Bandwidth 구성
`2'b00`Reserved; 동작이 정의되지 않았으므로 사용 금지
`2'b01`TLP payload bandwidth
`2'b10`TLP header bandwidth
`2'b11`TLP payload와 header bandwidth, 기본값

`len_mode=2`는 TLP header bandwidth만 세고, `len_mode=3`은 header와 payload를 모두 포함합니다. 옵션을 생략하면 기본값은 `2'b11`입니다.

$# perf stat -e hisi_pcie0_core0/rx_mrd_flux,port=0xffff,len_mode=0x1/ sleep 5