A block layer cache (bcache)

Bcache 설계와 초기 설정

Bcache는 큰 저속 RAID 6 같은 backing storage 앞에 SSD 하나 이상을 block-layer cache로 사용하는 기능입니다. Wiki는 `https://bcache.evilpiepirate.org`, bcache-tools repository는 `https://git.kernel.org/pub/scm/linux/kernel/git/colyli/bcache-tools.git/`, 최신 kernel code는 mainline Linux repository `https://git.kernel.org/pub/scm/linux/kernel/git/torvalds/linux.git/`에서 확인합니다.

설계는 SSD 성능 특성에 맞춥니다. Erase-block 크기의 bucket으로만 공간을 할당하고 hybrid btree/log로 한 sector부터 bucket 크기까지의 cached extent를 추적합니다. Random write를 피하기 위해 erase block을 순차적으로 채우고 재사용 전 discard를 발행합니다.

Writethrough와 writeback caching을 모두 지원합니다. Writeback은 기본적으로 꺼져 있지만 runtime에 자유롭게 전환할 수 있습니다. Bcache는 write가 stable storage에 도달하기 전에는 완료로 반환하지 않으므로 별도의 clean-shutdown 개념 없이도 unclean shutdown을 견디도록 data를 보호합니다.

Writeback은 cache 대부분을 write buffer로 쓸 수 있고, dirty data는 index 처음부터 끝까지 scan하며 backing device에 항상 순차적으로 기록합니다.

SSD가 잘 처리하는 것은 random I/O이므로 큰 sequential I/O를 cache해도 보통 이점이 적습니다. Bcache는 sequential I/O를 감지해 건너뛰고 task별 I/O size의 rolling average도 유지합니다. 평균이 cutoff보다 크면 seek 뒤 첫 512K만 cache하는 대신 해당 task의 모든 I/O를 건너뜁니다. 따라서 backup과 큰 file copy는 cache를 완전히 우회해야 합니다.

Flash의 data I/O error가 발생하면 disk에서 다시 읽거나 cache entry를 invalidate해 복구를 시도합니다. Metadata 또는 dirty data의 복구 불가능한 error에서는 caching을 자동으로 disable합니다. Dirty data가 있으면 먼저 writeback caching을 끄고 모두 flush될 때까지 기다립니다.

시작하려면 bcache-tools의 utility가 필요합니다. Backing device는 `-B`, cache device는 `-C`로 format합니다.

  bcache make -B /dev/sdb
  bcache make -C /dev/sdc

`bcache make` has the ability to format multiple devices at the same time - if
you format your backing devices and cache device at the same time, you won't
have to manually attach::

  bcache make -B /dev/sda /dev/sdb -C /dev/sdc

`bcache make`는 여러 device를 동시에 format할 수 있습니다. Backing과 cache device를 한 번에 format하면 수동 attach가 필요 없습니다. 오래된 bcache-tools에 unified `bcache` utility가 없다면 legacy `make-bcache`에서 같은 `-B`, `-C` parameter를 사용합니다.

최신 bcache-tools는 udev rule을 제공하므로 device를 kernel이 즉시 인식합니다. Udev가 없으면 다음처럼 직접 register합니다.

  echo /dev/sdb > /sys/fs/bcache/register
  echo /dev/sdc > /sys/fs/bcache/register

Backing device를 register하면 `/dev/bcache<N>` device가 나타나며 format하고 일반 block device처럼 쓸 수 있습니다. 새 bcache device는 cache에 attach하기 전까지 passthrough mode로 실행됩니다. 나중에 bcache를 쓸 계획이라면 저속 device를 cache 없이 bcache backing device로 먼저 설정하고 cache device는 이후 추가하는 방법을 권장합니다.

Udev가 있으면 UUID와 label alias도 만들며, ext4 format과 mount 예제 및 제어 path는 다음과 같습니다.

The devices show up as::

  /dev/bcache<N>

As well as (with udev)::

  /dev/bcache/by-uuid/<uuid>
  /dev/bcache/by-label/<label>

To get started::

  mkfs.ext4 /dev/bcache0
  mount /dev/bcache0 /mnt

You can control bcache devices through sysfs at /sys/block/bcache<N>/bcache .
You can also control them through /sys/fs//bcache/<cset-uuid>/ .

Cache devices are managed as sets; multiple caches per set isn't supported yet
but will allow for mirroring of metadata and dirty data in the future. Your new
cache set shows up as /sys/fs/bcache/<UUID>

Device별 제어는 `/sys/block/bcache<N>/bcache`, cache set 제어는 `/sys/fs//bcache/<cset-uuid>/`에서 합니다. Cache device는 set 단위로 관리합니다. Set당 cache 여러 개는 아직 지원하지 않지만 향후 metadata와 dirty data mirroring에 사용할 예정입니다.

Backing device를 cache set에 attach

Cache와 backing device를 register한 뒤 caching을 활성화하려면 backing device를 cache set에 attach합니다. `/sys/fs/bcache`에서 cache-set UUID를 찾아 다음처럼 씁니다.

After your cache device and backing device are registered, the backing device
must be attached to your cache set to enable caching. Attaching a backing
device to a cache set is done thusly, with the UUID of the cache set in
/sys/fs/bcache::

  echo <CSET-UUID> > /sys/block/bcache0/bcache/attach

Attach는 한 번만 하면 됩니다. 다음 reboot에서는 모든 bcache device를 다시 register하면 됩니다. Backing device data가 어떤 cache에 있으면 해당 cache가 나타날 때까지 `/dev/bcache<N>`을 만들지 않습니다. Writeback caching에서는 특히 중요합니다.

Boot 시 cache device가 사라졌고 돌아오지 않을 것이 확실하면 backing device를 강제로 실행할 수 있습니다.

If you're booting up and your cache device is gone and never coming back, you
can force run the backing device::

  echo 1 > /sys/block/sdb/bcache/running

(You need to use /sys/block/sdb (or whatever your backing device is called), not
/sys/block/bcache0, because bcache0 doesn't exist yet. If you're using a
partition, the bcache directory would be at /sys/block/sdb/sdb2/bcache)

Backing device는 cache set이 나중에 나타나면 다시 사용하지만 cached data는 모두 invalidate됩니다. Cache에 dirty data가 있었다면 filesystem은 대규모 corruption이 생길 수 있어 복구를 기대해서는 안 됩니다. 다만 ext4 `fsck`가 상당 부분 복구할 수는 있습니다.

Cache-device I/O error 처리

Bcache는 정상 동작에 영향을 주지 않도록 cache device와의 I/O error를 투명하게 처리하려 합니다. Configurable threshold를 넘는 error를 관찰하면 cache device를 shut down하고 모든 backing device를 passthrough mode로 전환합니다. Threshold 기본값은 0입니다.

Cookbook: cache 손실과 data 복구

A) Cache device가 없는 bcache를 시작할 때 backing device register가 `device already registered`로 실패하면 이미 등록된 것입니다. Cache가 없거나 register에 실패해도 backing-device의 `running`에 1을 써서 cache 없이 시작할 수 있습니다. Writeback mode였다면 data loss가 생길 수 있습니다.

A) Starting a bcache with a missing caching device

If registering the backing device doesn't help, it's already there, you just need
to force it to run without the cache::

	host:~# echo /dev/sdb1 > /sys/fs/bcache/register
	[  119.844831] bcache: register_bcache() error opening /dev/sdb1: device already registered

Next, you try to register your caching device if it's present. However
if it's absent, or registration fails for some reason, you can still
start your bcache without its cache, like so::

	host:/sys/block/sdb/sdb1/bcache# echo 1 > running

Note that this may cause data loss if you were running in writeback mode.

B) Attach가 `cache set not found`로 실패하면 cache device가 boot 때 register되지 않았거나 사라졌다 돌아온 경우입니다. Cache device를 `/sys/fs/bcache/register`에 다시 씁니다.

B) Bcache does not find its cache::

	host:/sys/block/md5/bcache# echo 0226553a-37cf-41d5-b3ce-8b1e944543a8 > attach
	[ 1933.455082] bcache: bch_cached_dev_attach() Couldn't find uuid for md5 in set
	[ 1933.478179] bcache: __cached_dev_store() Can't attach 0226553a-37cf-41d5-b3ce-8b1e944543a8
	[ 1933.478179] : cache set not found

In this case, the caching device was simply not registered at boot
or disappeared and came back, and needs to be (re-)registered::

	host:/sys/block/md5/bcache# echo /dev/sdh2 > /sys/fs/bcache/register

C) 손상된 bcache가 device register 시 kernel crash를 일으키면 발생해서는 안 되는 bug입니다. Kernel `dmesg`를 포함해 가능한 많은 정보를 `linux-bcache@vger.kernel.org` development list에 보고합니다.

D) Kernel에서 bcache를 사용할 수 없어도 backing device의 filesystem은 기본 8 KiB offset에 남아 있습니다. Format 때 `bcache make --data-offset`으로 다른 값을 정했다면 그 offset을 사용합니다. `--offset 8K` loop device 또는 다음 command로 원본 backing data를 `/dev/loop0`에 노출합니다.

D) Recovering data without bcache:

If bcache is not available in the kernel, a filesystem on the backing
device is still available at an 8KiB offset. So either via a loopdev
of the backing device created with --offset 8K, or any value defined by
--data-offset when you originally formatted bcache with `bcache make`.

For example::

	losetup -o 8192 /dev/loop0 /dev/your_bcache_backing_dev

This should present your unmodified backing device data in /dev/loop0

Cache가 writethrough mode라면 data loss 없이 cache device를 버려도 안전합니다.

Cookbook: cache 교체·stack 해제

E) Cache device를 wipe하려면 `wipefs -a`로 bcache signature를 지웁니다. Bcache를 다시 활성화한 뒤 cache를 `bcache make -C`로 재생성하고, cache가 없는 backing device를 `running`으로 시작한 다음 새 Set UUID를 `attach`에 씁니다.

E) Wiping a cache device

::

	host:~# wipefs -a /dev/sdh2
	16 bytes were erased at offset 0x1018 (bcache)
	they were: c6 85 73 f6 4e 1a 45 ca 82 65 f5 7f 48 ba 6d 81

After you boot back with bcache enabled, you recreate the cache and attach it::

	host:~# bcache make -C /dev/sdh2
	UUID:                   7be7e175-8f4c-4f99-94b2-9c904d227045
	Set UUID:               5bc072a8-ab17-446d-9744-e247949913c1
	version:                0
	nbuckets:               106874
	block_size:             1
	bucket_size:            1024
	nr_in_set:              1
	nr_this_dev:            0
	first_bucket:           1
	[  650.511912] bcache: run_cache_set() invalidating existing data
	[  650.549228] bcache: register_cache() registered cache device sdh2

start backing device with missing cache::

	host:/sys/block/md5/bcache# echo 1 > running

attach new cache::

	host:/sys/block/md5/bcache# echo 5bc072a8-ab17-446d-9744-e247949913c1 > attach
	[  865.276616] bcache: bch_cached_dev_attach() Caching md5 as bcache0 on set 5bc072a8-ab17-446d-9744-e247949913c1

F) Cache device를 제거·교체할 때는 backing device에서 먼저 `detach`합니다. Disable만 하고 unregister하지 않으면 device가 busy로 보호돼 `wipefs`가 실패합니다. Cache-set directory의 `stop`에 1을 써서 unregister한 뒤 wipe할 수 있습니다.

F) Remove or replace a caching device::

	host:/sys/block/sda/sda7/bcache# echo 1 > detach
	[  695.872542] bcache: cached_dev_detach_finish() Caching disabled for sda7

	host:~# wipefs -a /dev/nvme0n1p4
	wipefs: error: /dev/nvme0n1p4: probing initialization failed: Device or resource busy
	Ooops, it's disabled, but not unregistered, so it's still protected

We need to go and unregister it::

	host:/sys/fs/bcache/b7ba27a1-2398-4649-8ae3-0959f57ba128# ls -l cache0
	lrwxrwxrwx 1 root root 0 Feb 25 18:33 cache0 -> ../../../devices/pci0000:00/0000:00:1d.0/0000:70:00.0/nvme/nvme0/nvme0n1/nvme0n1p4/bcache/
	host:/sys/fs/bcache/b7ba27a1-2398-4649-8ae3-0959f57ba128# echo 1 > stop
	kernel: [  917.041908] bcache: cache_set_free() Cache set b7ba27a1-2398-4649-8ae3-0959f57ba128 unregistered

Now we can wipe it::

	host:~# wipefs -a /dev/nvme0n1p4
	/dev/nvme0n1p4: 16 bytes were erased at offset 0x00001018 (bcache): c6 85 73 f6 4e 1a 45 ca 82 65 f5 7f 48 ba 6d 81

G) dm-crypt와 bcache를 함께 쓸 때는 먼저 unencrypted bcache를 만들고 `/dev/bcache<N>` 위에 dm-crypt를 설치합니다. Backing과 cache device를 각각 encrypt한 뒤 그 위에 bcache를 두는 것보다 빠릅니다.

H) Partition table을 바꿔 fdisk하고 다시 register하려면 모든 bcache reference를 해제해야 합니다. `/dev/bcache*`가 존재하면 `/sys/block/bcache0/bcache/stop`에 1을 씁니다. Backing device가 사라져 이 path가 없으면 bcache를 참조하는 dm-crypt block device를 `dmsetup remove`로 제거합니다. Bcache가 다른 stacked block device의 하위 device인 경우도 같은 원리입니다.

그 밖에는 `/sys/fs/bcache/` 아래 `cache?`, `bdev?` symlink를 조사해 관련 UUID directory를 찾고 그 directory의 `stop`에 1을 씁니다. 그러면 bcache reference가 해제돼 partition을 다른 목적으로 재사용할 수 있습니다.

H) Stop/free a registered bcache to wipe and/or recreate it

Suppose that you need to free up all bcache references so that you can
fdisk run and re-register a changed partition table, which won't work
if there are any active backing or caching devices left on it:

1) Is it present in /dev/bcache* ? (there are times where it won't be)

   If so, it's easy::

	host:/sys/block/bcache0/bcache# echo 1 > stop

2) But if your backing device is gone, this won't work::

	host:/sys/block/bcache0# cd bcache
	bash: cd: bcache: No such file or directory

   In this case, you may have to unregister the dmcrypt block device that
   references this bcache to free it up::

	host:~# dmsetup remove oldds1
	bcache: bcache_device_free() bcache0 stopped
	bcache: cache_set_free() Cache set 5bc072a8-ab17-446d-9744-e247949913c1 unregistered

   This causes the backing bcache to be removed from /sys/fs/bcache and
   then it can be reused.  This would be true of any block device stacking
   where bcache is a lower device.

3) In other cases, you can also look in /sys/fs/bcache/::

	host:/sys/fs/bcache# ls -l */{cache?,bdev?}
	lrwxrwxrwx 1 root root 0 Mar  5 09:39 0226553a-37cf-41d5-b3ce-8b1e944543a8/bdev1 -> ../../../devices/virtual/block/dm-1/bcache/
	lrwxrwxrwx 1 root root 0 Mar  5 09:39 0226553a-37cf-41d5-b3ce-8b1e944543a8/cache0 -> ../../../devices/virtual/block/dm-4/bcache/
	lrwxrwxrwx 1 root root 0 Mar  5 09:39 5bc072a8-ab17-446d-9744-e247949913c1/cache0 -> ../../../devices/pci0000:00/0000:00:01.0/0000:01:00.0/ata10/host9/target9:0:0/9:0:0:0/block/sdl/sdl2/bcache/

   The device names will show which UUID is relevant, cd in that directory
   and stop the cache::

	host:/sys/fs/bcache/5bc072a8-ab17-446d-9744-e247949913c1# echo 1 > stop

   This will free up bcache references and let you reuse the partition for
   other purposes.

성능 문제 진단과 benchmark tuning

Bcache 기본 config와 tunable은 일반 desktop·server workload에 합리적으로 맞춰져 있지만 benchmark 최고 수치에는 적합하지 않을 수 있습니다.

Backing device alignment: 기본 metadata 크기는 8 KiB입니다. RAID backing device라면 `bcache make --data-offset`으로 stride width의 배수에 맞춥니다. 향후 array 확장을 고려하면 RAID stripe size에 prime series를 곱해 원하는 disk count의 공배수 offset을 만듭니다. 64 KiB stripe에서 `64k * 2*2*2*3*3*5*7 = 161280k`를 쓰면 약 157.5 MB를 희생해 3,4,5,6,7,8,9,10,12,14,15,18,20,21 등의 RAID5 data-spindle count에 alignment를 유지할 수 있습니다.

 - Backing device alignment

   The default metadata size in bcache is 8k.  If your backing device is
   RAID based, then be sure to align this by a multiple of your stride
   width using `bcache make --data-offset`. If you intend to expand your
   disk array in the future, then multiply a series of primes by your
   raid stripe size to get the disk multiples that you would like.

   For example:  If you have a 64k stripe size, then the following offset
   would provide alignment for many common RAID5 data spindle counts::

	64k * 2*2*2*3*3*5*7 bytes = 161280k

   That space is wasted, but for only 157.5MB you can grow your RAID 5
   volume to the following data-spindle counts without re-aligning::

	3,4,5,6,7,8,9,10,12,14,15,18,20,21 ...

Write 성능이 기대보다 낮다면 기본값이 아닌 writeback mode가 필요할 수 있습니다. Writeback이 기본값이 아닌 이유는 미성숙해서가 아니라 SSD 문제 시 data를 잃을 수 있기 때문입니다.

 - Bad write performance

   If write performance is not what you expected, you probably wanted to be
   running in writeback mode, which isn't the default (not due to a lack of
   maturity, but simply because in writeback mode you'll lose data if something
   happens to your SSD)::

	# echo writeback > /sys/block/bcache0/bcache/cache_mode

SSD로 갈 것으로 예상한 traffic이 가지 않으면 sequential bypass 때문일 수 있습니다. 10 GB sequential copy가 random working set 10 GB를 밀어내지 않도록 기본적으로 모든 I/O를 cache하지 않습니다. Fio가 8 GB test file을 먼저 쓰는 read-cache benchmark에서는 `sequential_cutoff`을 0으로 끄고, 끝나면 기본 4 MB로 복원합니다.

 - Bad performance, or traffic not going to the SSD that you'd expect

   By default, bcache doesn't cache everything. It tries to skip sequential IO -
   because you really want to be caching the random IO, and if you copy a 10
   gigabyte file you probably don't want that pushing 10 gigabytes of randomly
   accessed data out of your cache.

   But if you want to benchmark reads from cache, and you start out with fio
   writing an 8 gigabyte test file - so you want to disable that::

	# echo 0 > /sys/block/bcache0/bcache/sequential_cutoff

   To set it back to the default (4 mb), do::

	# echo 4M > /sys/block/bcache0/bcache/sequential_cutoff

계속 spindle traffic이나 cache miss가 발생할 수 있습니다. 느린 SSD, SSD 하나가 disk 여러 개를 cache하는 구성, 대부분 sequential인 I/O에서는 SSD가 disk를 따라가지 못할 수 있습니다. Bcache는 cache-device latency를 추적하고 threshold를 넘으면 sequential bypass를 높여 traffic을 점진적으로 throttle합니다. 필요하면 read/write threshold를 0으로 설정해 비활성화합니다. 기본값은 read 2000 us(2 ms), write 20000 us입니다.

 - Traffic's still going to the spindle/still getting cache misses

   In the real world, SSDs don't always keep up with disks - particularly with
   slower SSDs, many disks being cached by one SSD, or mostly sequential IO. So
   you want to avoid being bottlenecked by the SSD and having it slow everything
   down.

   To avoid that bcache tracks latency to the cache device, and gradually
   throttles traffic if the latency exceeds a threshold (it does this by
   cranking down the sequential bypass).

   You can disable this if you need to by setting the thresholds to 0::

	# echo 0 > /sys/fs/bcache/<cache set>/congested_read_threshold_us
	# echo 0 > /sys/fs/bcache/<cache set>/congested_write_threshold_us

   The default is 2000 us (2 milliseconds) for reads, and 20000 for writes.

같은 data에서 계속 cache miss가 나는 마지막 원인은 cache coherency 처리의 오래된 bug일 수 있습니다. Btree node가 가득 차면 cache miss가 새 data key를 삽입하지 못해 cache에 쓰지 못합니다. 일반 workload에서는 write 하나가 node split을 유발해 거의 문제가 없지만, 다른 traffic 없이 read로만 cache를 warm-up하는 benchmark에서는 드러날 수 있습니다. Write로 warm-up하거나 fix가 있는 testing branch를 사용합니다.

Backing-device sysfs

Backing-device attribute는 `/sys/block/<bdev>/bcache`, `/sys/block/bcache*/bcache`, attach된 경우 `/sys/fs/bcache/<cset-uuid>/bdev*`에서 제공합니다.

`sequential_merge`는 한 request의 최대 허용 sequential size보다 `sequential_cutoff`이 큰 경우 필요합니다. `writeback_percent`가 0이 아니면 PD controller가 background writeback을 throttle하며 `writeback_rate`를 지속 조정합니다. `writeback_running=off`에서도 cache가 거의 찰 때까지 dirty data는 계속 추가되므로 benchmark 외에는 사용하지 않습니다.

Backing-device 통계

통계 directory는 running total과 지난 day, hour, 5 minutes에 걸쳐 decay하는 version을 제공합니다. Cache-set directory에도 aggregate됩니다.

Cache-set sysfs

Cache-set attribute는 `/sys/fs/bcache/<cset-uuid>`에서 제공합니다.

Cache-set 내부 통계

이 directory는 garbage collection, btree read, btree-node sort와 btree split의 내부 timing도 제공합니다. 각 operation마다 average duration, average frequency, last occurrence, maximum duration file이 따로 있습니다.

`cache_read_races`가 발생하면 cache에서 읽은 data를 버리고 backing device에서 다시 읽습니다.

Cache-device sysfs

Cache-device attribute는 `/sys/block/<cdev>/bcache`에서 제공합니다.

`priority_stats`의 `Unused`는 data가 없는 cache percentage, `Metadata`는 bcache metadata overhead, `Average`는 cache-bucket 평균 priority입니다. 그 뒤에는 각 quantile의 priority threshold 목록이 이어집니다.