BSDPORTAL.RU

На этом сайте обсуждаются вопросы использования ОС FreeBSD
 Портал  •  Статьи  •  Форум  •  Wiki  •  Поиск  •  FAQ  •  Обои  •   Официальная документация  •  Новые темы 

Часовой пояс: UTC + 4 часа




Начать новую тему Ответить на тему  [ Сообщений: 10 ] 
Автор Сообщение
СообщениеДобавлено: Чт 04 фев, 2021 3:54 pm 
Не в сети

Зарегистрирован: Чт 04 фев, 2021 3:36 pm
Сообщения: 6
Прошу совета по следующей специфической проблеме, может кто сталкивался.
Итак, установленная в jail Freebsd 12.1 со всеми последними патчами. Ставлю в нее ELK стек 7-й версии (7.10.1) для анализа netflow, чуток правлю конфиги, чтобы все запускалось и пускало на вебморду. Вроде все работает, данные собираются, графики рисуются, но есть одна проблема: не отрисовываются timelion визуализации (в стандартных кибановских дашбордах), в которых используется regex для изменения меток на графиках. Стоит только сделать regex пустым, как визуализация начинает работать, но метки, естественно, выглядят некондово.
Цепляю файлы, на которых видна проблема:
1- исходное выражение timelion с обозначенным проблемным участком
2 - выдаваемая ошибка
3 - визуализация без regex в выражении

Такое впечатление, что криво сопряжены Java и Kibana, вроде как не отрабатывает джавовский файл re2.node, к которому обращается Kibana для отработки regex. У кого какие соображения?


Вложения:
3.jpg
3.jpg [ 178.75 КБ | Просмотров: 596 ]
2.jpg
2.jpg [ 188.43 КБ | Просмотров: 596 ]
1.jpg
1.jpg [ 89.99 КБ | Просмотров: 596 ]
Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 2:50 pm 
Не в сети

Зарегистрирован: Чт 04 фев, 2021 3:36 pm
Сообщения: 6
Обнаружил что автор джавовского модуля re2 любезно поставляет вместе с ним скрипт для проверки работоспособности модуля. Результат выполнения этого скрипта:
#:/usr/local/www/kibana7/node_modules/re2/scripts# node ./verify-build.js
internal/modules/cjs/loader.js:807
return process.dlopen(module, path.toNamespacedPath(filename));
^

Error: /usr/local/www/kibana7/node_modules/re2/build/Release/re2.node: invalid file format
at Object.Module._extensions..node (internal/modules/cjs/loader.js:807:18)
at Module.load (internal/modules/cjs/loader.js:653:32)
at tryModuleLoad (internal/modules/cjs/loader.js:593:12)
at Function.Module._load (internal/modules/cjs/loader.js:585:3)
at Module.require (internal/modules/cjs/loader.js:692:17)
at require (internal/modules/cjs/helpers.js:25:18)
at Object.<anonymous> (/usr/local/www/kibana7/node_modules/re2/re2.js:3:13)
at Module._compile (internal/modules/cjs/loader.js:778:30)
at Object.Module._extensions..js (internal/modules/cjs/loader.js:789:10)
at Module.load (internal/modules/cjs/loader.js:653:32)


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 3:13 pm 
Не в сети

Зарегистрирован: Чт 14 май, 2009 6:56 pm
Сообщения: 830
Может нода нужна другая какая?

Хотя, текст ошибки подозрительный. Какой файл он открывает? Может это какой-то линуксовый бинарь?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 7:21 pm 
Не в сети

Зарегистрирован: Чт 04 фев, 2021 3:36 pm
Сообщения: 6
Нода ставится 10-й версии, как и указано в зависимостях портов. Я пробовал ставить вместо 10-й версии 12 и 15 - на 12 та же ошибка, на 15 версии ноды ошибка чуть меняется:
#:/usr/local/www/kibana7/node_modules/re2/scripts# node ./verify-build.js
node:internal/modules/cjs/loader:1167
return process.dlopen(module, path.toNamespacedPath(filename));
^

Error: /usr/local/www/kibana7/node_modules/re2/build/Release/re2.node: invalid file format
at Object.Module._extensions..node (node:internal/modules/cjs/loader:1167:18)
at Module.load (node:internal/modules/cjs/loader:973:32)
at Function.Module._load (node:internal/modules/cjs/loader:813:14)
at Module.require (node:internal/modules/cjs/loader:997:19)
at require (node:internal/modules/cjs/helpers:92:18)
at Object.<anonymous> (/usr/local/www/kibana7/node_modules/re2/re2.js:3:13)
at Module._compile (node:internal/modules/cjs/loader:1108:14)
at Object.Module._extensions..js (node:internal/modules/cjs/loader:1137:10)
at Module.load (node:internal/modules/cjs/loader:973:32)
at Function.Module._load (node:internal/modules/cjs/loader:813:14) {
code: 'ERR_DLOPEN_FAILED'
}

А файл открывается какой и указано - re2.node. Это скомпилированный джавовский модуль, запускаемый тестовый скрипт просто создает объект с использованием этого модуля и проверяет доступность операций с ним. Модуль этот устанавливается в составе Кибаны, пробовал подсовывать его из предыдущей Кибаны 6 (размер чуть отличается) - не помогло.
Более того, я не поленился и в новой клетке поставил предыдущую версию ELK стека, 6-ю - та же ошибка. Кроме того, там в зависимостях портов чехарда c openjdk - elasticsearch7 требует openjdk8 (хотя на сайте самого эластика указано, что версия 7.10 совместима и с openjdk8, и с openjdk11), а logstash7 требует таки openjdk11, и при установке elasticsearch7+logstash7+kibana7 в систему ставятся два openjdk - 8 и 11. Я удалил openjdk8, сделал для эластика симлинк с /usr/local/openjdk8 на /usr/local/openjdk11 (чтобы не менять значения переменной окружения JAVA_HOME) - и все прекрасно работает, кроме вот этого чертового модуля.
Создал соответсвующие запросы на Гитхабе в проектах Kibana и re2 - пока тишина. Самое неприятное, что в гугле ничего похожего не находится, то ли на Фряхе мало кто ЕЛК ставит для анализа netflow, то ли на предыдущих версиях все работало...


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 10:17 pm 
Не в сети

Зарегистрирован: Чт 14 май, 2009 6:56 pm
Сообщения: 830
Что говорит команда

file /usr/local/www/kibana7/node_modules/re2/build/Release/re2.node

?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 10:32 pm 
Не в сети

Зарегистрирован: Чт 04 фев, 2021 3:36 pm
Сообщения: 6
# file /usr/local/www/kibana7/node_modules/re2/build/Release/re2.node
/usr/local/www/kibana7/node_modules/re2/build/Release/re2.node: Mach-O 64-bit x86_64 bundle, flags:<NOUNDEFS|DYLDLINK|TWOLEVEL|WEAK_DEFINES|BINDS_TO_WEAK|HAS_TLV_DESCRIPTORS>

Этот же файл re2.node, если скачать Кибану с официального сайта в архиве, имеет совсем другой размер и при попытке запуска выдает ошибку, что не найдена такая-то библиотека *.so. Т.е. его для фряшного порта как-то модифицировали, он отличается от линуксового варианта.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 11:07 pm 
Не в сети

Зарегистрирован: Чт 14 май, 2009 6:56 pm
Сообщения: 830
Ага, это бинарь для MacOS. Наверное, надо докладывать об этом мейнтейнеру порта.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 11:49 pm 
Не в сети

Зарегистрирован: Чт 04 фев, 2021 3:36 pm
Сообщения: 6
Написал письмо мейнтенеру, будут новости - обязательно отпишусь тут.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Пн 08 фев, 2021 8:45 pm 
Не в сети

Зарегистрирован: Чт 04 фев, 2021 3:36 pm
Сообщения: 6
Мейнтейнер ответил, что видит проблему и постарается решить ее в ближайшем обновлении порта. А я тем временем решил проблему самостоятельно:
1. Установил из портов npm-node10
2. Создал отдельную папку ./my_modules, чтобы npm не лез в кибановские модули.
3. #cd ./my_modules
4. #npm install --save re2
5. Копировал полученный файл re2.node из ./my_modules/... в соответствующую папку Кибаны взамен неработающего re2.node
6. Получил работающие timelion визуализации


Вложения:
3.jpg
3.jpg [ 286.88 КБ | Просмотров: 378 ]
Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вт 09 фев, 2021 11:28 am 
Не в сети

Зарегистрирован: Чт 14 май, 2009 6:56 pm
Сообщения: 830
Ну это хорошо, значит принципиальных проблем с этим нет. Просто файл от MacOS каким-то образом попал к нам.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 10 ] 

Часовой пояс: UTC + 4 часа


Кто сейчас на конференции

Зарегистрированные пользователи: Bing [Bot], Google Feedfetcher


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB
Яндекс.Метрика