BSDPORTAL.RU

На этом сайте обсуждаются вопросы использования ОС FreeBSD
 Портал  •  Статьи  •  Форум  •  Wiki  •  Поиск  •  FAQ  •  Обои  •   Официальная документация  •  Новые темы 

Часовой пояс: UTC + 4 часа




Начать новую тему Ответить на тему  [ Сообщений: 29 ]  На страницу 1, 2  След.
Автор Сообщение
 Заголовок сообщения: ZFS Device Add/Remove
СообщениеДобавлено: Вт 25 окт, 2016 10:49 am 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 127
Откуда: Санкт-Петербург
Знаю что официально оно нельзя, но меня очень вдохновила статья https://www.delphix.com/blog/delphix-en ... ce-removal
С тех пор полная тишина, новостей никаких не могу больше найти, а прошло уже почти 2 года.

Есть каике-то сподвижки в этом вопросе?

Хотелось бы иметь возможность добавления/удаления устройств без полного уничтожения массива.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Ср 26 окт, 2016 2:43 pm 
Не в сети
Аватара пользователя

Зарегистрирован: Вт 12 апр, 2005 1:14 pm
Сообщения: 109
Откуда: SPb
а что именно официально нельзя?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Ср 26 окт, 2016 7:15 pm 
Не в сети
Аватара пользователя

Зарегистрирован: Вт 03 янв, 2006 12:49 pm
Сообщения: 1038
Откуда: Киев
Благополучно проходил операцию замены диска в RAIDZ и mirror-типах массивов ZFS по причинах проблемности дисков...
zfs replace ...

Желательно "на кошках потренироваться" ;)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Ср 26 окт, 2016 7:36 pm 
Не в сети
Модератор

Зарегистрирован: Сб 11 сен, 2004 6:33 am
Сообщения: 5184
Откуда: Москва
Речь идёт об удалении устройств на которых хранятся данные без избыточности, т.е. дисков из stripe, например. Удалять диски из зеркал и raidz* можно было всегда. Не знаю каких новостей ждёт ТС - есть исходники, смотрите git log, вот и все новости.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Ср 26 окт, 2016 8:47 pm 
Не в сети
Аватара пользователя

Зарегистрирован: Вт 12 апр, 2005 1:14 pm
Сообщения: 109
Откуда: SPb
AMDmi3 писал(а):
Речь идёт об удалении устройств на которых хранятся данные без избыточности, т.е. дисков из stripe, например. Удалять диски из зеркал и raidz* можно было всегда. Не знаю каких новостей ждёт ТС - есть исходники, смотрите git log, вот и все новости.


ну из страйпа диск не удалить вообще никак. вроде бы когда-то давно было не добавить диск в уже существующий массив - то есть если создан raidz из трех дисков - то все - четвертый диск только через пересоздание пула. может тс именно это имел в виду?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Чт 27 окт, 2016 10:43 am 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 127
Откуда: Санкт-Петербург
да это и имеется в виду, например добавить в массив из четырёх дисков пятый, или наоборот удалить. Сейчас это умеет только lvm линуксовый, но geom_linux_lvm такие массивы не понимает.
хочется "гибкости"


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Чт 27 окт, 2016 10:58 am 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 127
Откуда: Санкт-Петербург
AMDmi3 писал(а):
Удалять диски из зеркал и raidz* можно было всегда.

Можно поподробнее? Про зеркала понятно, но из raidz диски не удаляются, только заменить можно.
Код:
# zpool list -v
NAME           SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
tempz          944M   129M   815M         -    10%    13%  1.00x  ONLINE  -
  raidz1       944M   129M   815M         -    10%    13%
    /tmp/z01      -      -      -         -      -      -
    /tmp/z02      -      -      -         -      -      -
    /tmp/z03      -      -      -         -      -      -
    /tmp/z04      -      -      -         -      -      -
    /tmp/z05      -      -      -         -      -      -
    /tmp/z06      -      -      -         -      -      -
    /tmp/z07      -      -      -         -      -      -
    /tmp/z08      -      -      -         -      -      -
    /tmp/z09      -      -      -         -      -      -
    /tmp/z10      -      -      -         -      -      -
# zpool remove tempz /tmp/z01
cannot remove /tmp/z01: only inactive hot spares, cache, top-level, or log devices can be removed


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Чт 27 окт, 2016 11:11 am 
Не в сети
Аватара пользователя

Зарегистрирован: Вт 12 апр, 2005 1:14 pm
Сообщения: 109
Откуда: SPb
Serzh писал(а):
да это и имеется в виду, например добавить в массив из четырёх дисков пятый, или наоборот удалить. Сейчас это умеет только lvm линуксовый, но geom_linux_lvm такие массивы не понимает.
хочется "гибкости"

удалить? вы точно уверены?

да, добавить диск нельзя. но можно заменять диски на более емкие по очереди - таким образом можно увеличить объем всего массива


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Чт 27 окт, 2016 12:34 pm 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 127
Откуда: Санкт-Петербург
да, на lvm лично проверял, по крайней мере со страйпом точно работает. Мне необходимо именно изменение количества дисков, про замену на более ёмкие я знаю.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Чт 27 окт, 2016 12:50 pm 
Не в сети
Аватара пользователя

Зарегистрирован: Вт 12 апр, 2005 1:14 pm
Сообщения: 109
Откуда: SPb
Serzh писал(а):
да, на lvm лично проверял, по крайней мере со страйпом точно работает. Мне необходимо именно изменение количества дисков, про замену на более ёмкие я знаю.

пока только через организацию страйпа путем добавления другого raidz пула


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Чт 27 окт, 2016 1:21 pm 
Не в сети
Модератор

Зарегистрирован: Сб 11 сен, 2004 6:33 am
Сообщения: 5184
Откуда: Москва
Serzh писал(а):
Можно поподробнее? Про зеркала понятно, но из raidz диски не удаляются, только заменить можно.

Удалить естественно без изменения размера массива, с переводом в degraded. zpool detach.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Чт 27 окт, 2016 1:22 pm 
Не в сети
Модератор

Зарегистрирован: Сб 11 сен, 2004 6:33 am
Сообщения: 5184
Откуда: Москва
Serzh писал(а):
Мне необходимо именно изменение количества дисков, про замену на более ёмкие я знаю.

Только расширением всех дисков или расширением страйпа. Напомню, страйп можно делать из зеркал и raidz*.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Чт 27 окт, 2016 3:28 pm 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 127
Откуда: Санкт-Петербург
Расширение страйпа меня не устраивает, так как сильно теряешь в ёмкости.
Решение сугубо для личных нужд, домашнее хранилище на дисках со старых серверов, которые для продуктива уже не годятся, а для домашнего видеоархива на raidz в самый раз, но эти диски иногда начинают сыпаться или даже дохнут окончательно, тем временем постепенно появляются новые, размер почти у всех 2Тб, поэтому и нужна "гибкость".
Пробовал на виндовом StorageSpaces, но он оказался хорош только на бумаге, в теории устраивает меня полностью, на практике никому его не порекомендую, уже дважды восстанавливал видеоархив с него, а для этих целей вообще только одна утилита существует как я понял - R-Studio. Проблема в том, что когда начинает сбоить один диск, то нормально поменять его невозможно. Функции замены как таковой нет, добавляешь диск в пул, старый помечаешь на удаление. Но вместо того чтобы мигрировать данные, как это в ZFS, он тупо грохает всё на старом и пытается восстановить по чётности на новом, если при этом на одном из дисков окажется нечитаемый сектор, то процесс тупо встаёт, даже ошибок никаких нет. Только в системных логах видно что была ошибка чтения с какого-то диска, а найти какой это конкретно диск в винде та ещё эпопея. Можно конечно DualParity, которая спасёт в таких ситуациях, но это опять же дополнительная потеря ёмкости. Также по непонятным причинам StorageSpaces выдаёт очень низкую скорость, причина мне так же не ясна, сколько не менял параметры - в среднем под нагрузкой на запись около 50Мб/сек, чтение 150Мб/сек на 8 дисках, каждый из которых отдаёт больше сотни. raidz даже на 4 дисках на этом же железе показал 400Мб/сек.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Чт 27 окт, 2016 3:51 pm 
Не в сети
Аватара пользователя

Зарегистрирован: Вт 12 апр, 2005 1:14 pm
Сообщения: 109
Откуда: SPb
похоже, вы не очень хорошо понимаете принцип работы raid - собственно, в любом массиве (raid5, raidz1) есть возможность восстановить данные при вылете только одного диска. если при восстановлении массива требуется прочесть данные, которые находятся в нечитаемом кластере любого из оставшихся дисков, то ничего не получится. так что в этом пункте я вас разочарую - zfs не позволяет свершиться чуду :) только излишняя избыточность - либо raidz2, либо hot spares


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Чт 27 окт, 2016 4:24 pm 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 127
Откуда: Санкт-Петербург
Принцип работы я понимаю хорошо, в zfs помимо scrub, есть замечательная команда replace, которая заменит текущий диск на новый, копируя с него данные, а в случае ошибок восстановит с других по чётности. Уже несколько месяцев на отдельном сервере тестирую такое решение на 4 полудохлых дисках - работает именно так как я рассчитывал. Специально самый хороший диск регулярно заменяю на самый плохой из имеющихся. Массив забил под завязку. Тупит иногда по несколько дней, но ни байта данных до сих пор потеряно не было.

Код:
  pool: zroot
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
        continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Wed Oct 26 05:48:27 2016
        2.79T scanned out of 5.47T at 24.2M/s, 32h16m to go
        715G resilvered, 51.01% done
config:

        NAME                        STATE     READ WRITE CKSUM
        zroot                       DEGRADED     0     0    99
          raidz1-0                  DEGRADED     0     0   198
            ada1                    ONLINE       0     0     0
            ada3                    ONLINE       0     0     0
            replacing-2             DEGRADED     0     0     0
              15240979482209279481  OFFLINE      0     0     0  was /dev/ada2/old
              ada2                  ONLINE       0     0     0  (resilvering)
            ada4                    ONLINE       0     0     0

errors: No known data errors

В этом примере я диск уже удалил, обычно дожидаюсь пока он освободится.

В винде даже аналога scrub нет.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Чт 27 окт, 2016 5:11 pm 
Не в сети
Аватара пользователя

Зарегистрирован: Вт 12 апр, 2005 1:14 pm
Сообщения: 109
Откуда: SPb
давайте я попробую еще раз - пусть у вас есть массив из трех дисков. не важно, raid3(5) или raidz1. и у вас умирает один диск. совсем. тогда в случае ошибок на любом оставшемся диске вы не сможете восстановить данные.
насчет "копируя данные" - в качестве эксперимента запустите replace и посмотрите, откуда читаются данные. мне тоже будет любопытно :)

сам проверил :) правда на zpool, устроенном на файлах. поэтому не gstat. так вот, судя по выводу zpool iostat -Td -v test_f 1, данные активно читаются со всех устройств, входящих в пул - и это при нормальной работе всех устройств в пуле.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Чт 27 окт, 2016 5:30 pm 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 127
Откуда: Санкт-Петербург
zpool iostat я проверял, потому и говорю.

при полном выходе знаю что не восстановить, я про диски, у которых начали появляться сбойные секторы. Вот именно в таком сценарии на винде у меня при попытке замены диска дважды умирал массив. Диски, которые дохнут сразу и бесповоротно, за мой 20-летний опыт я знаю, стараюсь такие не использовать.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Пт 28 окт, 2016 10:45 am 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 127
Откуда: Санкт-Петербург
И кстати, в случае необратимых потерь, ZFS пишет какой конкретно файл был повреждён, если этот файл перезаписать (например из резервной копии), то ошибка уходит. В моём тестовом случае это был файл из торрента, перечекал его, запустил закачку заново, повреждённый чанк перекачался и ошибка ушла. :)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Вт 29 май, 2018 4:27 pm 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 127
Откуда: Санкт-Петербург
Ура! в 11.2-BETA3 появилось удаление устройств из пула!
Код:
# zpool upgrade
This system supports ZFS pool feature flags.

All pools are formatted using feature flags.


Some supported features are not enabled on the following pools. Once a
feature is enabled the pool may become incompatible with software
that does not support the feature. See zpool-features(7) for details.

POOL  FEATURE
---------------
zboot
      device_removal
      obsolete_counts
      zpool_checkpoint
zroot
      device_removal
      obsolete_counts
      zpool_checkpoint


Код:
device_removal
     Top-level vdevs can be removed, reducing logical pool size.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: ZFS Device Add/Remove
СообщениеДобавлено: Ср 30 май, 2018 2:06 pm 
Не в сети
Аватара пользователя

Зарегистрирован: Вт 12 апр, 2005 1:14 pm
Сообщения: 109
Откуда: SPb
"Removes the specified device from the pool. This command currently only supports removing hot spares, cache, log devices and mirrored top-level vdevs (mirror of leaf devices); but not raidz." - выдержка из man


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 29 ]  На страницу 1, 2  След.

Часовой пояс: UTC + 4 часа


Кто сейчас на конференции

Зарегистрированные пользователи: Bing [Bot], Google [Bot], Majestic-12 [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB
Яндекс.Метрика