Nedra.Data PLATFORM создавалась как инструмент для решения основных проблем, с которыми ежедневно сталкиваются инженеры, интерпретаторы, руководители подразделений и все те специалисты, чья деятельность связана с обработкой больших объёмов технической информации.

Такая работа — это всегда долгий и трудозатратный процесс. Здесь и разрозненная структура данных, и несовместимость с другим ПО, и отсутствие коммуникации между кросс-функциональными командами, и многое другое. Nedra.Data PLATFORM учитывает эти проблемы и значительно упрощает существующие процессы.

Не секрет, что на рынке уже представлены цифровые инструменты для сбора и обработки данных, но, как правило, они нацелены на решение задач в более узких предметных областях. Кроме того, подобные инструменты не найти в открытом доступе.

Nedra.Data PLATFORM – универсальная платформа для управления жизненным циклом E&P данных и формирования информационной основы для кросс-функциональных цифровых решений на основе открытых стандартов.

Более подробную информацию о функциональности платформы вы можете получить в документе Руководство по использованию v.2.0

Nedra.Data PLATFORM распространяется по модели открытого ПО (лицензия Apache License 2.0)

Системные требования

Для запуска платформы потребуется развернутый кластер KUBERNETES 1.20+, со следующими доступными ресурсами:

*Установка helm чартов производится посредствам утилиты HELMFILE

Минимальные системные требования

RAM: 48 gb
Volumes: 250 gb
СPU: 16

Установка

• Установка инфраструктурных компонентов Задать значения переменных в файле helmfile/env.yaml

helmfile apply -f helmfile/helmfile-infra.yaml

• Если требуется установка keycloak

helmfile apply -f helmfile/helmfile-keycloak.yaml

• Генерация токена Datahub (через UI)

• Прописать токен Datahub в файл helmfile/env-ndp.yaml

datahubToken:

• Прописать токен Datahub в файл helmfile/env-ndp.yaml Настройка keycloak (создать realm)

• Прописать токен Datahub в файл helmfile/env-ndp.yaml Прописать созданные ключи и адрес кейклока в файл helmfile/env-ndp.yaml

keycloakHost:
keycloakSecretKey:
keycloakSecretKeyProxy:
keycloakAdminSecretKey:

• Прописать токен Datahub в файл helmfile/env-ndp.yaml Установка NedraDataPlatform

helmfile apply -f helmfile/helmfile-ndp.yaml

Удаление

helmfile destroy -f helmfile/helmfile-ndp.yaml
helmfile destroy -f helmfile/helmfile-keycloak.yaml
helmfile destroy -f helmfile/helmfile-infra.yaml
kubectl delete --all jobs,pvc --namespace=<NAMESPACE>

Настройка Keycloak

• Создать новый Realm (Create Realm)

• В графе Realm name укажите имя Realm

• На вкладке Clients нажатием на конпку Create client инициируйте создание 2-х новых клиентов.

• Заполнить параметры 1го клиента

Client type - OpenID Connect  
Client ID - ndr-data-platforme-proxy-frontend
Name - ndr-data-platforme-proxy-frontend
Description - Заполнить
После этого нажмите кнопку Next

• Сохранить 1-го клиента нажатием кнопки Save

• Заполнить параметры 2-го клиента :

Client type - OpenID Connect
Client ID - ndr-data-platforme-proxy-frontend
Name - ndr-data-platforme-proxy-frontend
Description - Заполнить
После этого нажмите кнопку Next

• Сохранить параметры 2го клиента нажатием кнопки Save

Добавить настройку клиентов :
Valid redirect - Заполнить
Valid post logout redirect URLs - Заполнить
Web origins - Заполнить
Client authentication - Положение ON

• Берем для 1-ого клинета access токен на вкладке credentinals client secret и прописываем значения в файл env-ndp.yaml

keycloakBackendSecretId
keycloakBackendSecretKey

• Берем для 2-ого клинета access токен на вкладке credentinals client secret и прописываем значения в файл env-ndp.yaml

keycloakProxySecretKey
keycloakProxySecretId

Настройка администратора в Keycloak

• На странице Clients вкладка Clients list нажимаем на строчку admin_cli

Valid redirect URLs - *
Valid post logout redirect URLs - +
Client authentication - Положение ON

• На странице Client details Берем access токен администратора в графе client_secret и прописываем значения в файл env-ndp.yaml

keycloakAdminSecretKey

Заводим пользователей системы NedraDataPlatform

• На странице Users вкладка User list нажимаем на кнопку Create new users

• Задаем информацию о пользователе

• Сохраняем пользователя нажатием на кнопку Create

• Задаем пароль на вкладке credentinal для данного пользователя нажатием на кнопку Set password

• Задаем пароль для этого пользователя

Генерация токена DataHub

• Нажимаем кнопку настройки “Manage your DataHub settings”

• На странице settings Нажать Generate new token , тем самаым инициируем создание токена

• Заполнить параметры генерации токена

Name - ndp-backend
Description - Token for access NedraDataPlatform

• Инициируем создание токена нажатием на кнопку Create

• Из графы Token cкопировать созданный токен и прописать в файл env-ndp.yaml

datahubToken