BSDPORTAL.RU

На этом сайте обсуждаются вопросы использования ОС FreeBSD
 Портал  •  Статьи  •  Форум  •  Wiki  •  Поиск  •  FAQ  •  Обои  •   Официальная документация  •  Новые темы 

Часовой пояс: UTC + 4 часа




Начать новую тему Ответить на тему  [ Сообщений: 10 ] 
Автор Сообщение
СообщениеДобавлено: Чт 04 фев, 2021 3:54 pm 
Не в сети

Зарегистрирован: Чт 04 фев, 2021 3:36 pm
Сообщения: 6
Прошу совета по следующей специфической проблеме, может кто сталкивался.
Итак, установленная в jail Freebsd 12.1 со всеми последними патчами. Ставлю в нее ELK стек 7-й версии (7.10.1) для анализа netflow, чуток правлю конфиги, чтобы все запускалось и пускало на вебморду. Вроде все работает, данные собираются, графики рисуются, но есть одна проблема: не отрисовываются timelion визуализации (в стандартных кибановских дашбордах), в которых используется regex для изменения меток на графиках. Стоит только сделать regex пустым, как визуализация начинает работать, но метки, естественно, выглядят некондово.
Цепляю файлы, на которых видна проблема:
1- исходное выражение timelion с обозначенным проблемным участком
2 - выдаваемая ошибка
3 - визуализация без regex в выражении

Такое впечатление, что криво сопряжены Java и Kibana, вроде как не отрабатывает джавовский файл re2.node, к которому обращается Kibana для отработки regex. У кого какие соображения?


Вложения:
3.jpg
3.jpg [ 178.75 КБ | Просмотров: 484 ]
2.jpg
2.jpg [ 188.43 КБ | Просмотров: 484 ]
1.jpg
1.jpg [ 89.99 КБ | Просмотров: 484 ]
Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 2:50 pm 
Не в сети

Зарегистрирован: Чт 04 фев, 2021 3:36 pm
Сообщения: 6
Обнаружил что автор джавовского модуля re2 любезно поставляет вместе с ним скрипт для проверки работоспособности модуля. Результат выполнения этого скрипта:
#:/usr/local/www/kibana7/node_modules/re2/scripts# node ./verify-build.js
internal/modules/cjs/loader.js:807
return process.dlopen(module, path.toNamespacedPath(filename));
^

Error: /usr/local/www/kibana7/node_modules/re2/build/Release/re2.node: invalid file format
at Object.Module._extensions..node (internal/modules/cjs/loader.js:807:18)
at Module.load (internal/modules/cjs/loader.js:653:32)
at tryModuleLoad (internal/modules/cjs/loader.js:593:12)
at Function.Module._load (internal/modules/cjs/loader.js:585:3)
at Module.require (internal/modules/cjs/loader.js:692:17)
at require (internal/modules/cjs/helpers.js:25:18)
at Object.<anonymous> (/usr/local/www/kibana7/node_modules/re2/re2.js:3:13)
at Module._compile (internal/modules/cjs/loader.js:778:30)
at Object.Module._extensions..js (internal/modules/cjs/loader.js:789:10)
at Module.load (internal/modules/cjs/loader.js:653:32)


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 3:13 pm 
Не в сети

Зарегистрирован: Чт 14 май, 2009 6:56 pm
Сообщения: 830
Может нода нужна другая какая?

Хотя, текст ошибки подозрительный. Какой файл он открывает? Может это какой-то линуксовый бинарь?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 7:21 pm 
Не в сети

Зарегистрирован: Чт 04 фев, 2021 3:36 pm
Сообщения: 6
Нода ставится 10-й версии, как и указано в зависимостях портов. Я пробовал ставить вместо 10-й версии 12 и 15 - на 12 та же ошибка, на 15 версии ноды ошибка чуть меняется:
#:/usr/local/www/kibana7/node_modules/re2/scripts# node ./verify-build.js
node:internal/modules/cjs/loader:1167
return process.dlopen(module, path.toNamespacedPath(filename));
^

Error: /usr/local/www/kibana7/node_modules/re2/build/Release/re2.node: invalid file format
at Object.Module._extensions..node (node:internal/modules/cjs/loader:1167:18)
at Module.load (node:internal/modules/cjs/loader:973:32)
at Function.Module._load (node:internal/modules/cjs/loader:813:14)
at Module.require (node:internal/modules/cjs/loader:997:19)
at require (node:internal/modules/cjs/helpers:92:18)
at Object.<anonymous> (/usr/local/www/kibana7/node_modules/re2/re2.js:3:13)
at Module._compile (node:internal/modules/cjs/loader:1108:14)
at Object.Module._extensions..js (node:internal/modules/cjs/loader:1137:10)
at Module.load (node:internal/modules/cjs/loader:973:32)
at Function.Module._load (node:internal/modules/cjs/loader:813:14) {
code: 'ERR_DLOPEN_FAILED'
}

А файл открывается какой и указано - re2.node. Это скомпилированный джавовский модуль, запускаемый тестовый скрипт просто создает объект с использованием этого модуля и проверяет доступность операций с ним. Модуль этот устанавливается в составе Кибаны, пробовал подсовывать его из предыдущей Кибаны 6 (размер чуть отличается) - не помогло.
Более того, я не поленился и в новой клетке поставил предыдущую версию ELK стека, 6-ю - та же ошибка. Кроме того, там в зависимостях портов чехарда c openjdk - elasticsearch7 требует openjdk8 (хотя на сайте самого эластика указано, что версия 7.10 совместима и с openjdk8, и с openjdk11), а logstash7 требует таки openjdk11, и при установке elasticsearch7+logstash7+kibana7 в систему ставятся два openjdk - 8 и 11. Я удалил openjdk8, сделал для эластика симлинк с /usr/local/openjdk8 на /usr/local/openjdk11 (чтобы не менять значения переменной окружения JAVA_HOME) - и все прекрасно работает, кроме вот этого чертового модуля.
Создал соответсвующие запросы на Гитхабе в проектах Kibana и re2 - пока тишина. Самое неприятное, что в гугле ничего похожего не находится, то ли на Фряхе мало кто ЕЛК ставит для анализа netflow, то ли на предыдущих версиях все работало...


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 10:17 pm 
Не в сети

Зарегистрирован: Чт 14 май, 2009 6:56 pm
Сообщения: 830
Что говорит команда

file /usr/local/www/kibana7/node_modules/re2/build/Release/re2.node

?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 10:32 pm 
Не в сети

Зарегистрирован: Чт 04 фев, 2021 3:36 pm
Сообщения: 6
# file /usr/local/www/kibana7/node_modules/re2/build/Release/re2.node
/usr/local/www/kibana7/node_modules/re2/build/Release/re2.node: Mach-O 64-bit x86_64 bundle, flags:<NOUNDEFS|DYLDLINK|TWOLEVEL|WEAK_DEFINES|BINDS_TO_WEAK|HAS_TLV_DESCRIPTORS>

Этот же файл re2.node, если скачать Кибану с официального сайта в архиве, имеет совсем другой размер и при попытке запуска выдает ошибку, что не найдена такая-то библиотека *.so. Т.е. его для фряшного порта как-то модифицировали, он отличается от линуксового варианта.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 11:07 pm 
Не в сети

Зарегистрирован: Чт 14 май, 2009 6:56 pm
Сообщения: 830
Ага, это бинарь для MacOS. Наверное, надо докладывать об этом мейнтейнеру порта.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Сб 06 фев, 2021 11:49 pm 
Не в сети

Зарегистрирован: Чт 04 фев, 2021 3:36 pm
Сообщения: 6
Написал письмо мейнтенеру, будут новости - обязательно отпишусь тут.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Пн 08 фев, 2021 8:45 pm 
Не в сети

Зарегистрирован: Чт 04 фев, 2021 3:36 pm
Сообщения: 6
Мейнтейнер ответил, что видит проблему и постарается решить ее в ближайшем обновлении порта. А я тем временем решил проблему самостоятельно:
1. Установил из портов npm-node10
2. Создал отдельную папку ./my_modules, чтобы npm не лез в кибановские модули.
3. #cd ./my_modules
4. #npm install --save re2
5. Копировал полученный файл re2.node из ./my_modules/... в соответствующую папку Кибаны взамен неработающего re2.node
6. Получил работающие timelion визуализации


Вложения:
3.jpg
3.jpg [ 286.88 КБ | Просмотров: 266 ]
Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Вт 09 фев, 2021 11:28 am 
Не в сети

Зарегистрирован: Чт 14 май, 2009 6:56 pm
Сообщения: 830
Ну это хорошо, значит принципиальных проблем с этим нет. Просто файл от MacOS каким-то образом попал к нам.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 10 ] 

Часовой пояс: UTC + 4 часа


Кто сейчас на конференции

Зарегистрированные пользователи: Bing [Bot], grayich, Majestic-12 [Bot]


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB
Яндекс.Метрика