BSDPORTAL.RU

Знаю что официально оно нельзя, но меня очень вдохновила статья https://www.delphix.com/blog/delphix-en ... ce-removal
С тех пор полная тишина, новостей никаких не могу больше найти, а прошло уже почти 2 года.

Есть каике-то сподвижки в этом вопросе?

Хотелось бы иметь возможность добавления/удаления устройств без полного уничтожения массива.

а что именно официально нельзя?

Благополучно проходил операцию замены диска в RAIDZ и mirror-типах массивов ZFS по причинах проблемности дисков...
zfs replace ...

Желательно "на кошках потренироваться"

Речь идёт об удалении устройств на которых хранятся данные без избыточности, т.е. дисков из stripe, например. Удалять диски из зеркал и raidz* можно было всегда. Не знаю каких новостей ждёт ТС - есть исходники, смотрите git log, вот и все новости.

ну из страйпа диск не удалить вообще никак. вроде бы когда-то давно было не добавить диск в уже существующий массив - то есть если создан raidz из трех дисков - то все - четвертый диск только через пересоздание пула. может тс именно это имел в виду?

да это и имеется в виду, например добавить в массив из четырёх дисков пятый, или наоборот удалить. Сейчас это умеет только lvm линуксовый, но geom_linux_lvm такие массивы не понимает.
хочется "гибкости"

Можно поподробнее? Про зеркала понятно, но из raidz диски не удаляются, только заменить можно.

удалить? вы точно уверены?

да, добавить диск нельзя. но можно заменять диски на более емкие по очереди - таким образом можно увеличить объем всего массива

да, на lvm лично проверял, по крайней мере со страйпом точно работает. Мне необходимо именно изменение количества дисков, про замену на более ёмкие я знаю.

пока только через организацию страйпа путем добавления другого raidz пула

Удалить естественно без изменения размера массива, с переводом в degraded. zpool detach.

Только расширением всех дисков или расширением страйпа. Напомню, страйп можно делать из зеркал и raidz*.

Расширение страйпа меня не устраивает, так как сильно теряешь в ёмкости.
Решение сугубо для личных нужд, домашнее хранилище на дисках со старых серверов, которые для продуктива уже не годятся, а для домашнего видеоархива на raidz в самый раз, но эти диски иногда начинают сыпаться или даже дохнут окончательно, тем временем постепенно появляются новые, размер почти у всех 2Тб, поэтому и нужна "гибкость".
Пробовал на виндовом StorageSpaces, но он оказался хорош только на бумаге, в теории устраивает меня полностью, на практике никому его не порекомендую, уже дважды восстанавливал видеоархив с него, а для этих целей вообще только одна утилита существует как я понял - R-Studio. Проблема в том, что когда начинает сбоить один диск, то нормально поменять его невозможно. Функции замены как таковой нет, добавляешь диск в пул, старый помечаешь на удаление. Но вместо того чтобы мигрировать данные, как это в ZFS, он тупо грохает всё на старом и пытается восстановить по чётности на новом, если при этом на одном из дисков окажется нечитаемый сектор, то процесс тупо встаёт, даже ошибок никаких нет. Только в системных логах видно что была ошибка чтения с какого-то диска, а найти какой это конкретно диск в винде та ещё эпопея. Можно конечно DualParity, которая спасёт в таких ситуациях, но это опять же дополнительная потеря ёмкости. Также по непонятным причинам StorageSpaces выдаёт очень низкую скорость, причина мне так же не ясна, сколько не менял параметры - в среднем под нагрузкой на запись около 50Мб/сек, чтение 150Мб/сек на 8 дисках, каждый из которых отдаёт больше сотни. raidz даже на 4 дисках на этом же железе показал 400Мб/сек.

похоже, вы не очень хорошо понимаете принцип работы raid - собственно, в любом массиве (raid5, raidz1) есть возможность восстановить данные при вылете только одного диска. если при восстановлении массива требуется прочесть данные, которые находятся в нечитаемом кластере любого из оставшихся дисков, то ничего не получится. так что в этом пункте я вас разочарую - zfs не позволяет свершиться чуду только излишняя избыточность - либо raidz2, либо hot spares

Принцип работы я понимаю хорошо, в zfs помимо scrub, есть замечательная команда replace, которая заменит текущий диск на новый, копируя с него данные, а в случае ошибок восстановит с других по чётности. Уже несколько месяцев на отдельном сервере тестирую такое решение на 4 полудохлых дисках - работает именно так как я рассчитывал. Специально самый хороший диск регулярно заменяю на самый плохой из имеющихся. Массив забил под завязку. Тупит иногда по несколько дней, но ни байта данных до сих пор потеряно не было.


В этом примере я диск уже удалил, обычно дожидаюсь пока он освободится.

В винде даже аналога scrub нет.

давайте я попробую еще раз - пусть у вас есть массив из трех дисков. не важно, raid3(5) или raidz1. и у вас умирает один диск. совсем. тогда в случае ошибок на любом оставшемся диске вы не сможете восстановить данные.
насчет "копируя данные" - в качестве эксперимента запустите replace и посмотрите, откуда читаются данные. мне тоже будет любопытно

сам проверил правда на zpool, устроенном на файлах. поэтому не gstat. так вот, судя по выводу zpool iostat -Td -v test_f 1, данные активно читаются со всех устройств, входящих в пул - и это при нормальной работе всех устройств в пуле.

zpool iostat я проверял, потому и говорю.

при полном выходе знаю что не восстановить, я про диски, у которых начали появляться сбойные секторы. Вот именно в таком сценарии на винде у меня при попытке замены диска дважды умирал массив. Диски, которые дохнут сразу и бесповоротно, за мой 20-летний опыт я знаю, стараюсь такие не использовать.

И кстати, в случае необратимых потерь, ZFS пишет какой конкретно файл был повреждён, если этот файл перезаписать (например из резервной копии), то ошибка уходит. В моём тестовом случае это был файл из торрента, перечекал его, запустил закачку заново, повреждённый чанк перекачался и ошибка ушла.

Ура! в 11.2-BETA3 появилось удаление устройств из пула!

"Removes the specified device from the pool. This command currently only supports removing hot spares, cache, log devices and mirrored top-level vdevs (mirror of leaf devices); but not raidz." - выдержка из man