BSDPORTAL.RU

На этом сайте обсуждаются вопросы использования ОС FreeBSD
 Портал  •  Статьи  •  Форум  •  Wiki  •  Поиск  •  FAQ  •  Обои  •   Официальная документация  •  Новые темы 

Часовой пояс: UTC + 4 часа




Начать новую тему Ответить на тему  [ Сообщений: 19 ] 
Автор Сообщение
СообщениеДобавлено: Сб 08 окт, 2016 10:44 pm 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 134
Откуда: Санкт-Петербург
Решил переместить архив с фильмами на сетевое хранилище. 11.0-RELEASE-p1, 8Gb
создал пул из 4 дисков без избыточности (при необходимости всё можно скачать заново), поднял самбу, поставил заливать.
сначала всё было изумительно - скорость под 100Мб/сек на гигабитной сети. Потом скорость начала падать и устаканиласть на примерно 20Мб/сек. Причём рывками: всплеск на несколько секунд, потом в несколько раз долшьше тишина.
Долго ковырял, в итоге понял, что это из-за включенной дедупликации. отключил скорость опять стала максимальной. Всё было хорошо, забил почти под завязку (около 92%).
Потом решил убрать оттуда часть файлов и залить другие. Вот тут началось самое интересное: читаются файлы по сети со скоростью 108Мб/сек, то есть упирается только в сеть. gstat при этом показывает нагрузку на каждый диск в районе 20%. Но после удаления файла, спустя какое-то время ZFS начинает жёстко тупить. В итоге копирование по сети отваливается по таймауту. gstat показывет 100% загрузку по всем дискам, при этом количество операций ввода/вывода обычное, 150-200, но скорость чтения в районе 1Мб/сек. Несколько минут спустя нагрузка падает до нуля и всё продолжает работать хорошо. После удаления очередного файла история повторяется. Сами диски быстрые, при линейном доступе выдают более 100Мб/сек каждый.

Подозреваю, что это из-за того, что вначале была включена дедупликация и при удалении этих файлов zfs что-то там внутри себя делает. Но почему она при этом так тупит? Можно ли что-то подкрутить, чтобы хотя бы до нуля не падала скорость дисковых операций? Или как-то прогнать фоном и раздедуплить всё?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 08 окт, 2016 11:58 pm 
Не в сети
Аватара пользователя

Зарегистрирован: Пн 20 ноя, 2006 3:33 pm
Сообщения: 144
Откуда: SPb
Ну вы бы что ли что нибудь почитали по использованию ZFS, почти любой гайд рекомендует не занимать более 80% ибо это плохо.
Удалять много с забитого под завязку диска, тоже плохо - ибо удаление, дорогая операция, а на забитом диске тем более.

В былые времена забив диск под завязку, так вообще можно его было превести в неработоспособное, без сильного колдунства, состояние.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вс 09 окт, 2016 12:22 am 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 134
Откуда: Санкт-Петербург
я знаю что под завязку забивать нельзя, читал про те времена. Но во-первых, оно начинает тупить ещё при записи. во-вторых 20% при многих терабайтах это очень жирно :)
Файлов немного и удаляется он один, но файл ~10Гб


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вс 09 окт, 2016 12:27 am 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 134
Откуда: Санкт-Петербург
сейчас вообще получил:
# zfs get all video
cannot open 'video': pool I/O is currently suspended

притом что gstat показывает нулевую нагрузку. и так он регулярно, даже не удалял ничего в этот раз. занят на 88%


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вс 09 окт, 2016 12:37 am 
Не в сети
Модератор
Аватара пользователя

Зарегистрирован: Ср 08 ноя, 2006 2:53 pm
Сообщения: 5478
Откуда: СССР, Харьков
ZFS обычно тупит при нехватке ОЗУ.
ZFS для нормальной работы нужно 4G + 1G на каждый терабайт диского пространства.
Ещё может Самба выделываться.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вс 09 окт, 2016 12:40 am 
Не в сети
Аватара пользователя

Зарегистрирован: Пн 20 ноя, 2006 3:33 pm
Сообщения: 144
Откуда: SPb
Ещё раз, прочитайте что такое ZFS и как она работает, все ваши вопросы отпадут, ну и тут глянул 8Гб, а массива то у вас сколько (бытует простая формула Гб на Тб). Хотя в вашем паттерне это безразлично.

Ну вывод чего нибудь бы что ли приложили, а то мы конечно на слово верим, но практика дело такое.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вс 09 окт, 2016 12:43 am 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 134
Откуда: Санкт-Петербург
По последней ошибке отбой - похоже ещё один SATA кабель битый :(
8гиг на 8Тб должно хватить на мой взгляд. ещё recordsize=1M сделал, не помешает же думаю в таком паттерне?

это точно не самба, так как локально тоже тупит.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вс 09 окт, 2016 12:57 am 
Не в сети
Модератор
Аватара пользователя

Зарегистрирован: Ср 08 ноя, 2006 2:53 pm
Сообщения: 5478
Откуда: СССР, Харьков
Если система залезла в swap, тормозить будет независимо от FS
swapinfo


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вс 09 окт, 2016 1:14 am 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 134
Откуда: Санкт-Петербург
swap отключен


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вс 09 окт, 2016 1:26 am 
Не в сети
Аватара пользователя

Зарегистрирован: Пн 20 ноя, 2006 3:33 pm
Сообщения: 144
Откуда: SPb
Serzh писал(а):
8гиг на 8Тб должно хватить на мой взгляд.

Опять же, прочтите что такое ZFS и как она работает, конкретно, зачем ей память. Может изменит ваш взгляд.

Ну и мы дождёмся каких либо метрик?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вс 09 окт, 2016 1:36 am 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 134
Откуда: Санкт-Петербург
читал. я не претендую на космическую производительность, но полностью блокироваться на несколько минут операции ввода/вывода не должны. похоже и правда дело в свободном месте, освободив до 87%, жёсткие тормоза пропали, утилизация дисков 100%, но при этом продолжают отдавать по 15-20мб/сек каждый, место свободное после удаления не появляется, пока утилизация дисков 100%. Вот как-то бы потюнить, чтобы освобождение места с низким приоритетом шло и операции чтения не блокировались.

скажите какие метрики прислать.
сейчас вижу, что ARC съедает 6,5 гигов.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вс 09 окт, 2016 1:15 pm 
Не в сети

Зарегистрирован: Вс 05 июн, 2005 4:19 pm
Сообщения: 3157
Откуда: Мезозой Пангея
zpool scrub ... теперь бы сделать, после освобождения места..

_________________
Ми можемо все - що здатні собі уявити!
uname -a
Linux nonamehost 5.4.0-42-generic #46-Ubuntu SMP Fri Jul 10 00:24:02 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Чт 20 окт, 2016 9:21 pm 
Не в сети

Зарегистрирован: Ср 05 окт, 2016 7:07 pm
Сообщения: 134
Откуда: Санкт-Петербург
scrub сделал, проблема продолжается, даже при 95% свободного места. Переношу файлы на виндовую машину, после копирования и удаления файла процесс останавливается, нагрузка на geom по всем дискам уходит в полку, иногда даже процесс переноса встаёт по таймауту. как только нагрузка на диски падает процесс возобновляется. настройки все по-умолчанию.
Код:
                                 capacity     operations    bandwidth
pool                          alloc   free   read  write   read  write
----------------------------  -----  -----  -----  -----  -----  -----
video                         66.7G  7.18T    191      0   304K      0
  diskid/DISK-MN1220F32J2ZAD  16.7G  1.80T     46      0  72.1K      0
  diskid/DISK-MN1220F32RXN6D  16.7G  1.80T     56      0  88.7K      0
  diskid/DISK-MN1220F32J3DYD  16.7G  1.80T     39      0  64.0K      0
  diskid/DISK-MN1220F32EK6GD  16.7G  1.80T     48      0  78.9K      0

через какое-то время полка проподает, и всё начинает работать, но идёт вот такая активнось достаточно долго, видимо пока она полностью не прекратится, то ещё несколько операций удаления опять вводят систему в ступор. если подождать 10-15 минут то активность на дисках падает до нуля, освобождается ещё немного места и возобновление переноса хватает на гораздо большее время.
Код:
                                 capacity     operations    bandwidth
pool                          alloc   free   read  write   read  write
----------------------------  -----  -----  -----  -----  -----  -----
video                         67.0G  7.18T      0      0      0      0
  diskid/DISK-MN1220F32J2ZAD  16.8G  1.80T      0      0      0      0
  diskid/DISK-MN1220F32RXN6D  16.8G  1.80T      0      0      0      0
  diskid/DISK-MN1220F32J3DYD  16.8G  1.80T      0      0      0      0
  diskid/DISK-MN1220F32EK6GD  16.8G  1.80T      0      0      0      0
----------------------------  -----  -----  -----  -----  -----  -----


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Пт 21 окт, 2016 10:05 am 
Не в сети

Зарегистрирован: Вс 05 июн, 2005 4:19 pm
Сообщения: 3157
Откуда: Мезозой Пангея
напиши в рассылку freebsd-fs@freebsd.org пусть еще и разрабы этого чуда себе голову поломают над этим.

_________________
Ми можемо все - що здатні собі уявити!
uname -a
Linux nonamehost 5.4.0-42-generic #46-Ubuntu SMP Fri Jul 10 00:24:02 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вс 23 окт, 2016 8:41 pm 
Не в сети
Модератор
Аватара пользователя

Зарегистрирован: Ср 08 ноя, 2006 2:53 pm
Сообщения: 5478
Откуда: СССР, Харьков
Serzh писал(а):
swap отключен

Зря вы это сделали.
Вот для информации, домашняя машина просто обновление портов идёт.
Код:
last pid: 89223;  load averages:  4.50,  3.62,  2.89                              up 0+10:45:30  19:33:09
112 processes: 5 running, 107 sleeping
CPU:  2.5% user, 82.5% nice, 15.1% system,  0.0% interrupt,  0.0% idle
Mem: 926M Active, 1301M Inact, 4851M Wired, 833M Free
ARC: 3607M Total, 1361M MFU, 1999M MRU, 101K Anon, 45M Header, 203M Other
Swap: 8192M Total, 16M Used, 8175M Free

  PID USERNAME    THR PRI NICE   SIZE    RES STATE   C   TIME    WCPU COMMAND
89216 root          1  93   10   142M   115M RUN     3   0:05  97.99% c++
89213 root          1  95   10   166M   138M CPU2    2   0:06  97.58% c++
89220 root          1  90   10   113M 88272K CPU0    0   0:03  96.85% c++
89223 root          1  87   10 90848K 65204K CPU1    1   0:02  96.15% c++


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Пт 11 ноя, 2016 4:45 pm 
Не в сети
Аватара пользователя

Зарегистрирован: Пн 26 мар, 2007 6:04 pm
Сообщения: 1146
Откуда: Kiev
А вы тюнили zfs?

_________________
"Винда съела дрова и резет здесь не фурычит"
"Все говорят, что у меня /dev/hands кривой и я всё делаю через /dev/ass. А у меня этих файлов вообще нет!"


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Пт 11 ноя, 2016 4:57 pm 
Не в сети

Зарегистрирован: Вс 05 июн, 2005 4:19 pm
Сообщения: 3157
Откуда: Мезозой Пангея
skeletor писал(а):
А вы тюнили zfs?


да бесполезно тут тюнить вообще zfs.
разве что только лимиты выставлять что бы из-за утечек памяти не выжрало всю доступную.
тут дело случая, когда кто-то попадает на какую-то проблему (например то включая, то отключая определенные опции на рабочем пуле: например в том числе дедубликацию - сам на такое нарывался) - тогда проще обновить код с текущими исправлениями багов и заново пересоздать пул и перенести файлы.
из разрабов никто точно не знает досконально и всецело всю гору компонентов zfs, каждый ковыряет код в своей области.
подобные проблемы трудно воспроизвести и как следствие поймать ошибку и исправить её.

поэтому повторюсь: проще обновить код с текущими исправлениями багов и заново пересоздать пул и перенести файлы.

в рассылке сейчас активна тема: "Freebsd 11.0 RELEASE - ZFS deadlock" не вчитывался - но может смежная проблема...

_________________
Ми можемо все - що здатні собі уявити!
uname -a
Linux nonamehost 5.4.0-42-generic #46-Ubuntu SMP Fri Jul 10 00:24:02 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Пт 11 ноя, 2016 5:16 pm 
Не в сети
Аватара пользователя

Зарегистрирован: Пн 26 мар, 2007 6:04 pm
Сообщения: 1146
Откуда: Kiev
Зря вы так. Тюнинг реально ускоряет работу. Дедупликация - это зло и я даже не знаю, в каких реальных ситуациях её нужно включать.
Для начала я бы посоветовал бы отключить atime. Дальше выставить правильный recordsize (тут всё зависит от того, каким блоками пишут на неё). Включил бы компрессию (хотя тут нужно с умом, подумать). Возможно отключил бы secondarycache/sync, если питание на сервере стабильное и данные не супер-пупер критичные. Дальше попробовал бы выставить logbias=throughput.
Ну и естественно - добавить памяти (zfs её очень любит), ограничить ARC cache,
Теперь sysctl;
- увеличил бы значение vfs.zfs.txg.timeout (опять-таки, настолько, насколько позволительно потерять данные): он отвечает за сброс кеша с памяти на диск (как часто сбрасывать в секундах)
- поигрался б с включением/выключением prefetch / vfs.zfs.cache_flush_disable

Возможно ещё что-то б подтюнил. ZFS не ФС, которая из коробки будет работать быстро. Она из тех, которая из коробки будет максимально безопасно хранить файлы.

_________________
"Винда съела дрова и резет здесь не фурычит"
"Все говорят, что у меня /dev/hands кривой и я всё делаю через /dev/ass. А у меня этих файлов вообще нет!"


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 12 ноя, 2016 7:47 pm 
Не в сети

Зарегистрирован: Вс 05 июн, 2005 4:19 pm
Сообщения: 3157
Откуда: Мезозой Пангея
если сервак узкопрофильный - тогда соглашусь.
если сервер выполняет разные боевые задачи - тюнинговать бессмысленно ибо, например, что для БД лучше - хуже в остальных задачах.
разве что крутить каждый моунтпоинт по опциям - но повторюсь, невозможно оттюнить идеально для всего и вся - поэтому кроме лимитов и максимум recordsize смысла крутить нет, даже компрессию кажись оно ставит по дефолту ту что нужно.
И рано или поздно весь этот тюнинг уйдет на нет при длительной работе сервера и длительных нагрузках на него (особенно на ФС), особенно если тюнить наугад/на глазок, не понимая последствий и поведения системы, особенно если имеются в реализации ФС баги, которые как раз и проявляются на НЕ дефолтных опциях - ибо их никто не проверяет из разрабов. шаг вправо/влево от дефолтных опций - жди беды/сюрпризов/проблем... это всё из личного опыта хождения по граблям.

_________________
Ми можемо все - що здатні собі уявити!
uname -a
Linux nonamehost 5.4.0-42-generic #46-Ubuntu SMP Fri Jul 10 00:24:02 UTC 2020 x86_64 x86_64 x86_64 GNU/Linux


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 19 ] 

Часовой пояс: UTC + 4 часа


Кто сейчас на конференции

Зарегистрированные пользователи: Bing [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB
Яндекс.Метрика