BSDPORTAL.RU

был массив raidz из четырёх дисков, один диск начал сбоить, перевожу в offline, подключаю кго по USB, на его место ставлю новый, запускаю процедуру replace. процесс шёл почти неделю, но безуспешно - постоянно перезапускался. в логах увидел, что ещё один диск имеет сбойные секторы. offline его сделать не удалось - ругался на отсутствие доступных реплик. Решил погасить сервер, чтобы поменять диск а этот так же повесить на USB. но команда shutdown привела к зависанию, ждал несколько часов и погасил принудительно. Подключил второй проблемный диск, поставил новый, но загрузившись обнаружил, что второй диск по USB не виден, походу была проблема с кабелем. Поменял диски местами и запустил replace второго проблемного, потом поменял кабель первый проблемный тоже обнаружился, но был в каком-то статусе, решил ещё раз перезагрузить - опять зависло.

Теперь пул не монтируется:




командой "zpool import -fFV -R /mnt zroot" импортируется, но


Команда "zpool import -fFn -R /mnt zroot" ничего не выдаёт, а "zpool import -fFX -R /mnt zroot", которая должна провести анализ возможного восстановления перезагружает систему.

Я все варианты перепробовал, или ещё нет?
Особенно инетресует последний вариант, это же ненормально, что система уходит в ребут? На основном серваке был kernel panic, подозревал, что возможно было мало памяти, сейчас подключил к другому серваку с 16Gb оперативы - на нём тупо сразу в ребут уходит, в консоли ничего не видно.

Удалось записать момент ошибки в консоли на втором сервере с 16Gb

Отключил диски, которые шли на замену - пошёл импорт, чую ждать долго придётся.
походу бага во FreeBSD когда пул в таком состоянии с replacing дисками, то оно крэшится при расширенном импорте.

пойду баг-репорт писать.

Покажи


не знаю что и как именно ты делал по восстановлению, но я делал так и все проходило нормально (в случаях замены посыпавшихся дисков)


правда у меня raidz2

_________________
Ми можемо все - що здатні собі уявити!
uname -a
Linux nonamehost 4.16.13-zen+ #11 ZEN SMP PREEMPT Fri Jun 1 00:08:33 EEST 2018 x86_64 x86_64 x86_64 GNU/Linux

1. где видно что проблема с дисками?
2. о чем пишет статус?
3. попутно, между прочим: raidz а-ля raid5, сколько дисков можно менять одновременно?

вот у меня тоже возникло подозрение, что ТС помог бы простой скраб - а он взял и руками сломал свой рейд, поспешив с выводами.
я даже в raidz2 не рискнул бы 2 из 4-х сразу диска менять.

_________________
Ми можемо все - що здатні собі уявити!
uname -a
Linux nonamehost 4.16.13-zen+ #11 ZEN SMP PREEMPT Fri Jun 1 00:08:33 EEST 2018 x86_64 x86_64 x86_64 GNU/Linux

то что проблема с дисками - видно по SMART и логам - были UNC регулярные.
простой scrub при попытке поменять один из дисков так и не прошёл - постоянно сбрасывался, ждал почти неделю, но каждый раз видел, что процесс начался не более часа назад.
диски я менял не извлекая текущие, поэтому можно менять хоть все сразу.

после того как массив развалился, scrub сделать было уже невозможно - выдавало ошибку.

Массив в итоге восстановился, данные все целые. но пришлось прогнать scrub ещё раз - на одном из дисков было "починено" примерно 25% объёма.

после этого я начал уважать ZFS ещё больше. Минус пока только один - жёсткая конфигурация массива, невозможно добавить/удалить диски. Хотя работы в этом направлении и ведутся, но новостей нет уже почти 3 года.
http://open-zfs.org/w/images/b/b4/Devic ... Ahrens.pdf

после гашения диска нужно делать сразу реплейс а уже потом вводить диск в массив. <- видимо это и было ошибкой...
если кто скажет что это без разницы - пусть ткнет в соответствующий кусок мануала по zfs
/me вообще удивлен как он восстановился.



кажись во-первых смотря какой массив.
во-вторых никто не запрещает присоединять к пулу новый массив.
zfs пулы практически всегда менее проблемно наращивать объемы - а вот уменьшать даже и не пытался пробовать.

_________________
Ми можемо все - що здатні собі уявити!
uname -a
Linux nonamehost 4.16.13-zen+ #11 ZEN SMP PREEMPT Fri Jun 1 00:08:33 EEST 2018 x86_64 x86_64 x86_64 GNU/Linux

я диск перевесил на USB и вернул в работу, после этого делал replace.
делал так уже не раз и когда диск был сбоил только один - никаких проблем не было.

Всё было бы хорошо, если бы у меня не заглючил второй диск, который я на USB перевешивал. кабель там был битый похоже, пока не поменял - не завелось. Но во время замены кабеля перепутал провод и случайно выдернул второй диск, который уже был подключен по USB, всё повисло, а после перезагрузки по питанию пул больше не монтировался.

нельзя в ZFS добавить один диск в существующую структуру. Например как в LVM или Storage Spaces. Про уменьшнние речи вообще не идёт. официально это никак не поддерживается.

Но вот Storage Spaces после сбоев восстанавливать гораздо тяжелее, вернее максимум что можно сделать - это вытащить данные с помощью R-Studio.

в какую такую структуру? структуру чего?
читай:
19.2.2.2. ZFS RAID-Z
https://www.freebsd.org/doc/ru_RU.KOI8- ... s-zfs.html
19.3.2. Adding and Removing Devices
https://www.freebsd.org/doc/en_US.ISO88 ... zpool.html

_________________
Ми можемо все - що здатні собі уявити!
uname -a
Linux nonamehost 4.16.13-zen+ #11 ZEN SMP PREEMPT Fri Jun 1 00:08:33 EEST 2018 x86_64 x86_64 x86_64 GNU/Linux

я всё это читал, например если у нас есть RAIDZ из четырёх дисков, добавить в него пятый не получится. ZFS это сейчас не поддерживает. по моей ссылке выше как раз допиливали добавление/удаление.

ну так - да - но ничто не запрещает управлять всем пулом и добавить в него еще один raidz2 массив из до 9-ти дисков и так далее по мере надобности...

_________________
Ми можемо все - що здатні собі уявити!
uname -a
Linux nonamehost 4.16.13-zen+ #11 ZEN SMP PREEMPT Fri Jun 1 00:08:33 EEST 2018 x86_64 x86_64 x86_64 GNU/Linux

ССЗБ, что называется ПЛОХО изучал и а-бы как выполнял replace, всего-то два
варианта: "безопасный" - replace на уже существующий в системе диск и
"небезопасный" - replace с выводом в offline, физической заменой диска в том же слоте, online и replace.

raidz - замена только одного диска, выполнять тщательно, спокойно, но осторожно.

Вы берете USB, дергаете, путаете, из raidz вылетают ДВА диска, ZFS'у хана (HW RAID'у тоже в такой ситуации),
как это назвать?
Можно попробовать clear, что-то еще... не знаю...

я делал безопасный, так как по опыту знаю, что если один из одинаковых дисков в массиве начал сыпаться, то очень велика вероятность, что он там такой уже не один.
Сервер тестовый, специально для экспериментов, поэтому особо не заморачивался, даже если бы всё похоронилось - не так страшно. Но падать при импорте даже повреждённого массива система не должна. Или вы не согласны?

Я вот стараюсь опробовать все возможные варианты развития ситуации перед тем как запускать в продуктив.

ну о какой безопасности Вы говорите, используя USB?!



падать не должен, но бывает всякое, тем более что неизвестны предпринимаемые
телодвижения... Если USB == "безопасно"...



и это правильно.
Увеличение количества vdev, помогает, вроде бы об этом уже отписывалось...

ps. Не смотря на то что ZFS == продакшн, во FreeBSD регулярно находят
проблемы, см список рассылки freebsd-fs.

Это лучше, чем тупо отключить диск, не находите?

ИМХО не лучше.
во-первых - не тупо выключить диск - а вывести его корректно из массива.
raidz1 при выходе 1-го диска позволяет работать массиву.
если нужна бОльшая надежность - то нужно было создавать raidz2 - тогда можно менять через вывод из массива 2 дисков.
во-вторых ИМХО, вышедший из строя диск - _нужно_ извлекать из системы, ибо поломки могут быть разными - так можно докатиться и до выхода из строя контроллера/порта или блока питания, если поломка связана по электрической части - а ждать десятками часов восстановления - это с большей вероятностью может приблизить такой момент.

_________________
Ми можемо все - що здатні собі уявити!
uname -a
Linux nonamehost 4.16.13-zen+ #11 ZEN SMP PREEMPT Fri Jun 1 00:08:33 EEST 2018 x86_64 x86_64 x86_64 GNU/Linux

не нахожу, я достаточно делал замен и всегда на ходу и все это на том же
железе, на котором вышло из строя, ограничен круг, в том числе и для
неисправностей.

А вот переключения на USB - явно небезопасно, кабель, скорость и тд ип,
включения, выключения... USB <-> SATA, USB<->SAS - звенья, которые
здравый администратор будет исключать.
Ну разве что изначально был root pool single или mirror на USB,
как например в SmartOS или подобных, обычно illumos-based.

если просто отключить один диск в raidz1, то данные восстановятся только если на всех остальных нет проблем, в моём же случае я точно знал, что ещё один диск имеет проблемы, поэтому получил бы битые данные на выходе, а так у меня 100% перестроилось.

Плюс ещё раз повторюсь, что сервер экспериментальный, где я проверяю различные сценарии, в том числе работу на нескольких дисках с плохими секторами.
на промышленном серваке при 6 слотах я специально оставил один свободный, чтобы иметь возможность делать replace, когда один из дисков начнёт сбоить. raidz2 думал, но решил пока так сделать, чтобы лишний диск не расходовать.