Настройка AoE target и initiator в Debian 5 Lenny

Target

Включаем загрузку модуля ядра, необходимого для работы aoe, при загрузке системы и запускаем его:

echo "aoe" >> /etc/modules
modprobe aoe

Ставим софт для target:

apt-get install -y vblade

Экспорт блочного устройства в сеть осуществляется вот такой командой:

vbladed 0 1 eth0 /dev/sdd

Поэтому нам необходимо добавить ее в конфиг файл:

vi /etc/rc.local

Чуть выше строки exit 0.

Теперь выполняем экспорт:

/etc/rc.local

Теперь настроим клиентскую часть на другой машине.

Initiator

echo "aoe" >> /etc/modules
modprobe aoe

Ставим нужное ПО:

apt-get install -y aoetools

Теперь пробуем найти экспортированное устройство (команда ничего не выдает на экран, это нормально):

aoe-discover

И после этого запрашиваем список доступных устройств (у меня машин без роутера посредине не нашлось, поэтому все тесты делались на локалхосте):

aoe-stat
e0.1 128.035GB lo up

После этого в /dev у нас должна появиться интересная папка:

ls -la /dev/etherd/
total 0
drwxr-xr-x 2 root root 180 2010-10-12 07:44 .
drwxr-xr-x 17 root root 3.9K 2010-10-12 07:44 ..
c-w--w---- 1 root disk 152, 3 2010-10-12 07:44 discover
brw-rw---- 1 root disk 152, 16 2010-10-12 07:44 e0.1
brw-rw---- 1 root disk 152, 17 2010-10-12 07:44 e0.1p1
cr--r----- 1 root disk 152, 2 2010-10-12 07:44 err
c-w--w---- 1 root disk 152, 6 2010-10-12 07:44 flush
c-w--w---- 1 root disk 152, 4 2010-10-12 07:44 interfaces
c-w--w---- 1 root disk 152, 5 2010-10-12 07:44 revalidate

Где, /dev/etherd/e0.1 и есть наше экспортированное блочное устройство:

fdisk -l /dev/etherd/e0.1

Disk /dev/etherd/e0.1: 128.0 GB, 128035676160 bytes
255 heads, 63 sectors/track, 15566 cylinders
Units = cylinders of 16065 * 512 = 8225280 bytes
Disk identifier: 0xe72f675d

Device Boot Start End Blocks Id System
/dev/etherd/e0.1p1 1 15566 125033894+ 83 Linux

Теперь немного тестов, по аналогии с тестами iSCSI.

Рандомное чтение (этот тест не верный! запускался несколько раз, и разброс значений был: 5000, 12000, 11000, чем вызвано - не понимаю):

/usr/src/fio-1.41/fio -readonly -name iops -rw=randread -bs=512 -runtime=20 -iodepth 1 -filename /dev/etherd/e0.1 -ioengine libaio -direct=1
iops: (g=0): rw=randread, bs=512-512/512-512, ioengine=libaio, iodepth=1
Starting 1 process
Jobs: 1 (f=1): [r] [100.0% done] [2163K/0K /s] [4226/0 iops] [eta 00m:00s]
iops: (groupid=0, jobs=1): err= 0: pid=20708
read : io=42439KB, bw=2122KB/s, iops=4243, runt= 20001msec
slat (usec): min=8, max=246, avg=16.03, stdev= 7.21
clat (usec): min=25, max=396, avg=213.75, stdev=17.66
bw (KB/s) : min= 2082, max= 2178, per=100.05%, avg=2122.13, stdev=23.66
cpu : usr=3.48%, sys=5.86%, ctx=88762, majf=0, minf=25
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued r/w: total=84878/0, short=0/0
lat (usec): 50=0.12%, 100=0.01%, 250=97.77%, 500=2.11%


Run status group 0 (all jobs):
READ: io=42439KB, aggrb=2121KB/s, minb=2172KB/s, maxb=2172KB/s, mint=20001msec, maxt=20001msec

Disk stats (read/write):
etherd!e0.1: ios=84355/0, merge=0/0, ticks=17788/0, in_queue=0, util=88.95%

Рандомная запись (тут также бред, диск подключенный напрямую не дает и 3х тысяч, здесь же - больше):

/usr/src/fio-1.41/fio -name iops -rw=randwrite -bs=512 -runtime=20 -iodepth 1 -filename /dev/etherd/e0.1 -ioengine libaio -direct=1
iops: (g=0): rw=randwrite, bs=512-512/512-512, ioengine=libaio, iodepth=1
Starting 1 process
Jobs: 1 (f=1): [w] [100.0% done] [0K/854K /s] [0/1669 iops] [eta 00m:00s]
iops: (groupid=0, jobs=1): err= 0: pid=20719
write: io=167841KB, bw=8392KB/s, iops=16783, runt= 20001msec
slat (usec): min=4, max=144, avg=12.11, stdev= 5.01
clat (usec): min=0, max=46889, avg=43.56, stdev=408.41
bw (KB/s) : min= 61, max=34508, per=102.31%, avg=8584.82, stdev=10701.52
cpu : usr=11.18%, sys=16.32%, ctx=336579, majf=0, minf=14979
IO depths : 1=100.0%, 2=0.0%, 4=0.0%, 8=0.0%, 16=0.0%, 32=0.0%, >=64=0.0%
submit : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
complete : 0=0.0%, 4=100.0%, 8=0.0%, 16=0.0%, 32=0.0%, 64=0.0%, >=64=0.0%
issued r/w: total=0/335682, short=0/0
lat (usec): 2=48.53%, 4=0.71%, 10=0.05%, 20=0.81%, 50=46.81%
lat (usec): 100=0.39%, 250=2.03%, 500=0.13%, 750=0.04%, 1000=0.02%
lat (msec): 2=0.05%, 4=0.06%, 10=0.36%, 20=0.01%, 50=0.01%

Run status group 0 (all jobs):
WRITE: io=167841KB, aggrb=8391KB/s, minb=8593KB/s, maxb=8593KB/s, mint=20001msec, maxt=20001msec

Disk stats (read/write):
etherd!e0.1: ios=0/335332, merge=0/0, ticks=0/12348, in_queue=0, util=61.75%

Источник: http://www.howtoforge.com/using-ata-over-ethernet-aoe-on-debian-lenny-initiator-and-target