← Documents Documentation/admin-guide/aoe/aoe.rst GitHub 원문 ↗

Linux 6.18.37 · Administration / AoE

ATA over Ethernet introduction

AoE device node, discovery, sysfs 상태, interface 제한과 timeout·packet·minor-number module parameter를 설명합니다.

Source pathDocumentation/admin-guide/aoe/aoe.rst
Source versionLinux v6.18.37
TranslationDUJINLABS 전문 번역 + 해설

요약·해설과 원문, 전문 번역을 서로 분리했습니다. API 이름, symbol, source path는 원문 표기를 사용합니다.

1. 요약·해설

원문의 핵심 논리와 kernel programming 관점의 보충 설명입니다. 아래의 전문 번역과는 별도로 작성했습니다.

Protocol and tools

aoe.rst:1-27

LAN block storage protocol과 EtherDrive HOWTO, aoetools를 소개합니다.

Node creation

aoe.rst:28-44

Udev rule과 module preload로 discovery 지연을 관리합니다.

Node controls and names

aoe.rst:45-71

Error, interface, discovery control과 e{shelf}.{slot} 이름을 설명합니다.

sysfs status

aoe.rst:72-121

state·mac·netif와 aoe_iflist, discovery trigger를 설명합니다.

Driver parameters

aoe.rst:122-150

aoe_iflist, aoe_deadsecs, aoe_maxout, aoe_dyndevs 동작을 정리합니다.

2. 영어 원문 전체

번역 기준이 된 Linux v6.18.37 원문입니다. 줄 번호는 이 버전의 파일 좌표입니다.

원문 전체 펼치기
1 Introduction
2 ============
3
4 ATA over Ethernet is a network protocol that provides simple access to
5 block storage on the LAN.
6
7 http://support.coraid.com/documents/AoEr11.txt
8
9 The EtherDrive (R) HOWTO for 2.6 and 3.x kernels is found at ...
10
11 http://support.coraid.com/support/linux/EtherDrive-2.6-HOWTO.html
12
13 It has many tips and hints! Please see, especially, recommended
14 tunings for virtual memory:
15
16 http://support.coraid.com/support/linux/EtherDrive-2.6-HOWTO-5.html#ss5.19
17
18 The aoetools are userland programs that are designed to work with this
19 driver. The aoetools are on sourceforge.
20
21 http://aoetools.sourceforge.net/
22
23 The scripts in this Documentation/admin-guide/aoe directory are intended to
24 document the use of the driver and are not necessary if you install
25 the aoetools.
26
27
28 Creating Device Nodes
29 =====================
30
31 Users of udev should find the block device nodes created
32 automatically, but to create all the necessary device nodes, use the
33 udev configuration rules provided in udev.txt (in this directory).
34
35 There is a udev-install.sh script that shows how to install these
36 rules on your system.
37
38 There is also an autoload script that shows how to edit
39 /etc/modprobe.d/aoe.conf to ensure that the aoe module is loaded when
40 necessary. Preloading the aoe module is preferable to autoloading,
41 however, because AoE discovery takes a few seconds. It can be
42 confusing when an AoE device is not present the first time the a
43 command is run but appears a second later.
44
45 Using Device Nodes
46 ==================
47
48 "cat /dev/etherd/err" blocks, waiting for error diagnostic output,
49 like any retransmitted packets.
50
51 "echo eth2 eth4 > /dev/etherd/interfaces" tells the aoe driver to
52 limit ATA over Ethernet traffic to eth2 and eth4. AoE traffic from
53 untrusted networks should be ignored as a matter of security. See
54 also the aoe_iflist driver option described below.
55
56 "echo > /dev/etherd/discover" tells the driver to find out what AoE
57 devices are available.
58
59 In the future these character devices may disappear and be replaced
60 by sysfs counterparts. Using the commands in aoetools insulates
61 users from these implementation details.
62
63 The block devices are named like this::
64
65 e{shelf}.{slot}
66 e{shelf}.{slot}p{part}
67
68 ... so that "e0.2" is the third blade from the left (slot 2) in the
69 first shelf (shelf address zero). That's the whole disk. The first
70 partition on that disk would be "e0.2p1".
71
72 Using sysfs
73 ===========
74
75 Each aoe block device in /sys/block has the extra attributes of
76 state, mac, and netif. The state attribute is "up" when the device
77 is ready for I/O and "down" if detected but unusable. The
78 "down,closewait" state shows that the device is still open and
79 cannot come up again until it has been closed.
80
81 The mac attribute is the ethernet address of the remote AoE device.
82 The netif attribute is the network interface on the localhost
83 through which we are communicating with the remote AoE device.
84
85 There is a script in this directory that formats this information in
86 a convenient way. Users with aoetools should use the aoe-stat
87 command::
88
89 root@makki root# sh Documentation/admin-guide/aoe/status.sh
90 e10.0 eth3 up
91 e10.1 eth3 up
92 e10.2 eth3 up
93 e10.3 eth3 up
94 e10.4 eth3 up
95 e10.5 eth3 up
96 e10.6 eth3 up
97 e10.7 eth3 up
98 e10.8 eth3 up
99 e10.9 eth3 up
100 e4.0 eth1 up
101 e4.1 eth1 up
102 e4.2 eth1 up
103 e4.3 eth1 up
104 e4.4 eth1 up
105 e4.5 eth1 up
106 e4.6 eth1 up
107 e4.7 eth1 up
108 e4.8 eth1 up
109 e4.9 eth1 up
110
111 Use /sys/module/aoe/parameters/aoe_iflist (or better, the driver
112 option discussed below) instead of /dev/etherd/interfaces to limit
113 AoE traffic to the network interfaces in the given
114 whitespace-separated list. Unlike the old character device, the
115 sysfs entry can be read from as well as written to.
116
117 It's helpful to trigger discovery after setting the list of allowed
118 interfaces. The aoetools package provides an aoe-discover script
119 for this purpose. You can also directly use the
120 /dev/etherd/discover special file described above.
121
122 Driver Options
123 ==============
124
125 There is a boot option for the built-in aoe driver and a
126 corresponding module parameter, aoe_iflist. Without this option,
127 all network interfaces may be used for ATA over Ethernet. Here is a
128 usage example for the module parameter::
129
130 modprobe aoe_iflist="eth1 eth3"
131
132 The aoe_deadsecs module parameter determines the maximum number of
133 seconds that the driver will wait for an AoE device to provide a
134 response to an AoE command. After aoe_deadsecs seconds have
135 elapsed, the AoE device will be marked as "down". A value of zero
136 is supported for testing purposes and makes the aoe driver keep
137 trying AoE commands forever.
138
139 The aoe_maxout module parameter has a default of 128. This is the
140 maximum number of unresponded packets that will be sent to an AoE
141 target at one time.
142
143 The aoe_dyndevs module parameter defaults to 1, meaning that the
144 driver will assign a block device minor number to a discovered AoE
145 target based on the order of its discovery. With dynamic minor
146 device numbers in use, a greater range of AoE shelf and slot
147 addresses can be supported. Users with udev will never have to
148 think about minor numbers. Using aoe_dyndevs=0 allows device nodes
149 to be pre-created using a static minor-number scheme with the
150 aoe-mkshelf script in the aoetools.
151

3. 한국어 전문 번역

영어 원문의 문단 순서와 의미를 유지한 전체 번역입니다. 코드, 함수명, symbol과 URL은 원문 표기를 유지합니다.

ATA over Ethernet 소개

1-27

ATA over Ethernet(AoE)은 LAN의 block storage에 간단히 접근하게 하는 network protocol입니다. Protocol specification은 `http://support.coraid.com/documents/AoEr11.txt`에 있습니다.

2.6 및 3.x kernel용 EtherDrive HOWTO는 `http://support.coraid.com/support/linux/EtherDrive-2.6-HOWTO.html`에 있으며 여러 운용 tip을 제공합니다. 특히 `http://support.coraid.com/support/linux/EtherDrive-2.6-HOWTO-5.html#ss5.19`의 virtual memory tuning 권고를 참고합니다.

`aoetools`는 이 driver와 함께 쓰도록 설계된 userland program이며 `http://aoetools.sourceforge.net/`에서 제공합니다. `Documentation/admin-guide/aoe`의 script는 driver 사용법을 문서화하기 위한 것이므로 aoetools를 설치했다면 필수는 아닙니다.

AoE references and tools
ResourcePurpose
AoEr11.txtATA over Ethernet protocol specification
EtherDrive HOWTOKernel 2.6/3.x usage guidance
HOWTO section 5.19Recommended virtual-memory tuning
aoetoolsUserland commands insulated from driver details

Protocol, HOWTO, tuning과 userspace utility의 역할입니다.

AoE device node 생성

28-44

Udev 사용자는 block device node가 자동으로 생성되는 것을 볼 수 있습니다. 필요한 모든 node를 만들려면 같은 directory의 `udev.txt`에 있는 udev configuration rule을 사용합니다. `udev-install.sh`는 이 rule을 system에 설치하는 방법을 보여 줍니다.

`autoload` script는 필요할 때 aoe module이 load되도록 `/etc/modprobe.d/aoe.conf`를 편집하는 방법을 보여 줍니다. 그러나 AoE discovery에는 몇 초가 걸리므로 autoload보다 module을 미리 load하는 편이 좋습니다. 첫 command에서는 device가 없고 1초 뒤 나타나는 상황이 혼란을 줄 수 있기 때문입니다.

AoE node readiness
Install udev rulesPreload aoe moduleRun AoE discoveryWait a few secondsBlock device nodes appear

Module load와 discovery 지연이 device-node 가시성에 미치는 흐름입니다.

AoE character·block device 사용

45-71

`cat /dev/etherd/err`는 retransmitted packet 같은 error diagnostic output을 기다리며 block합니다. `echo eth2 eth4 > /dev/etherd/interfaces`는 AoE traffic을 `eth2`와 `eth4`로 제한합니다. 보안을 위해 신뢰하지 않는 network의 AoE traffic은 무시해야 하며 아래의 `aoe_iflist` option도 참고합니다.

`echo > /dev/etherd/discover`는 사용할 수 있는 AoE device를 찾도록 driver에 지시합니다. 향후 이 character device들은 sysfs counterpart로 대체되어 사라질 수 있습니다. Aoetools command를 사용하면 이런 구현 세부사항의 변화에서 사용자를 격리할 수 있습니다.

Block device 이름은 whole disk의 경우 `e{shelf}.{slot}`, partition은 `e{shelf}.{slot}p{part}` 형식입니다.

  The block devices are named like this::

	e{shelf}.{slot}
	e{shelf}.{slot}p{part}

  ... so that "e0.2" is the third blade from the left (slot 2) in the
  first shelf (shelf address zero).  That's the whole disk.  The first
  partition on that disk would be "e0.2p1".
AoE device-node controls
InterfaceOperation
/dev/etherd/errBlock waiting for error diagnostics
/dev/etherd/interfacesRestrict AoE traffic to listed interfaces
/dev/etherd/discoverTrigger discovery
e0.2Whole disk in shelf 0, slot 2
e0.2p1Partition 1 of e0.2

특수 file과 block-device 이름의 의미입니다.

AoE sysfs 상태와 interface 제한

72-121

`/sys/block`의 각 AoE block device에는 `state`, `mac`, `netif` attribute가 추가됩니다. `state`가 `up`이면 I/O 준비가 됐고, `down`이면 감지됐지만 사용할 수 없습니다. `down,closewait`는 device가 아직 open되어 있어 close하기 전에는 다시 올라올 수 없음을 뜻합니다.

`mac`은 remote AoE device의 Ethernet address이고 `netif`는 localhost가 remote device와 통신하는 network interface입니다.

같은 directory의 status script는 이 정보를 보기 좋게 표시합니다. Aoetools 사용자는 `aoe-stat` command를 사용해야 합니다.

    root@makki root# sh Documentation/admin-guide/aoe/status.sh
       e10.0            eth3              up
       e10.1            eth3              up
       e10.2            eth3              up
       e10.3            eth3              up
       e10.4            eth3              up
       e10.5            eth3              up
       e10.6            eth3              up
       e10.7            eth3              up
       e10.8            eth3              up
       e10.9            eth3              up
        e4.0            eth1              up
        e4.1            eth1              up
        e4.2            eth1              up
        e4.3            eth1              up
        e4.4            eth1              up
        e4.5            eth1              up
        e4.6            eth1              up
        e4.7            eth1              up
        e4.8            eth1              up
        e4.9            eth1              up
AoE sysfs attributes
Attribute/valueMeaning
state=upReady for I/O
state=downDetected but unusable
state=down,closewaitStill open; cannot return up until closed
macRemote AoE Ethernet address
netifLocal network interface used for communication

Block device별 remote endpoint와 local path 상태입니다.

AoE traffic을 whitespace-separated interface 목록으로 제한할 때 `/dev/etherd/interfaces`보다 `/sys/module/aoe/parameters/aoe_iflist`, 또는 아래 driver option을 쓰는 편이 좋습니다. Sysfs entry는 이전 character device와 달리 read와 write가 모두 가능합니다.

허용 interface 목록을 설정한 뒤 discovery를 trigger하면 유용합니다. `aoetools`의 `aoe-discover` script 또는 `/dev/etherd/discover` special file을 사용할 수 있습니다.

AoE driver option

122-150

Built-in aoe driver용 boot option과 이에 대응하는 module parameter `aoe_iflist`가 있습니다. 지정하지 않으면 모든 network interface를 ATA over Ethernet에 사용할 수 있습니다.

  usage example for the module parameter::

    modprobe aoe_iflist="eth1 eth3"
AoE module parameters
ParameterDefault/edgeBehavior
aoe_iflistAll interfacesWhitespace-separated interfaces allowed for AoE
aoe_deadsecs0 means foreverSeconds to wait before marking target down
aoe_maxout128Maximum unresponded packets sent to one target
aoe_dyndevs1Assign minor number in discovery order
aoe_dyndevs=0Static schemePre-create nodes with aoe-mkshelf

Interface 선택, timeout, outstanding packet과 minor-number 정책입니다.

`aoe_deadsecs`는 driver가 AoE command에 대한 target response를 기다리는 최대 seconds입니다. 시간이 지나면 device를 `down`으로 표시합니다. Test를 위해 0도 지원하며, 이때 driver는 AoE command를 영원히 재시도합니다.

`aoe_maxout`의 기본값은 128이며 한 번에 AoE target 하나로 보낼 수 있는 미응답 packet의 최대 수입니다.

`aoe_dyndevs` 기본값은 1입니다. 발견 순서에 따라 AoE target에 block-device minor number를 할당하므로 더 넓은 shelf·slot address 범위를 지원합니다. Udev 사용자는 minor number를 신경 쓸 필요가 없습니다. `aoe_dyndevs=0`이면 static minor-number scheme을 사용하며 aoetools의 `aoe-mkshelf`로 device node를 미리 만들 수 있습니다.