![](https://gitflic.ru/project/nedra/nedra-data-platform/blob/raw?file=images%2Fnedra_data_platform.jpg)
Nedra.Data PLATFORM создавалась как инструмент для решения основных проблем, с которыми ежедневно сталкиваются инженеры, интерпретаторы, руководители подразделений и все те специалисты, чья деятельность связана с обработкой больших объёмов технической информации.
Такая работа — это всегда долгий и трудозатратный процесс. Здесь и разрозненная структура данных, и несовместимость с другим ПО, и отсутствие коммуникации между кросс-функциональными командами, и многое другое. Nedra.Data PLATFORM учитывает эти проблемы и значительно упрощает существующие процессы.
Не секрет, что на рынке уже представлены цифровые инструменты для сбора и обработки данных, но, как правило, они нацелены на решение задач в более узких предметных областях. Кроме того, подобные инструменты не найти в открытом доступе.
Nedra.Data PLATFORM – универсальная платформа для управления жизненным циклом E&P данных и формирования информационной основы для кросс-функциональных цифровых решений на основе открытых стандартов.
Более подробную информацию о функциональности платформы вы можете получить в документе Руководство по использованию v.2.0
Nedra.Data PLATFORM распространяется по модели открытого ПО (лицензия Apache License 2.0)
Системные требования
Для запуска платформы потребуется развернутый кластер KUBERNETES 1.20+, со следующими доступными ресурсами:
*Установка helm чартов производится посредствам утилиты HELMFILE
Минимальные системные требования
RAM: 48 gb
Volumes: 250 gb
СPU: 16
Рекомендуемые системные требования
RAM: 96 gb
Volumes: 500 gb
СPU: 32
Установка
• Установка инфраструктурных компонентов Задать значения переменных в файле helmfile/env.yaml
helmfile apply -f helmfile/helmfile-infra.yaml
• Если требуется установка keycloak
helmfile apply -f helmfile/helmfile-keycloak.yaml
• Генерация токена Datahub (через UI)
• Прописать токен Datahub в файл helmfile/env-ndp.yaml
datahubToken:
• Прописать токен Datahub в файл helmfile/env-ndp.yaml Настройка keycloak (создать realm)
• Прописать токен Datahub в файл helmfile/env-ndp.yaml Прописать созданные ключи и адрес кейклока в файл helmfile/env-ndp.yaml
keycloakHost:
keycloakSecretKey:
keycloakSecretKeyProxy:
keycloakAdminSecretKey:
• Прописать токен Datahub в файл helmfile/env-ndp.yaml Установка NedraDataPlatform
helmfile apply -f helmfile/helmfile-ndp.yaml
Удаление
helmfile destroy -f helmfile/helmfile-ndp.yaml
helmfile destroy -f helmfile/helmfile-keycloak.yaml
helmfile destroy -f helmfile/helmfile-infra.yaml
kubectl delete --all jobs,pvc --namespace=<NAMESPACE>
Настройка Keycloak
• Создать новый Realm (Create Realm)
• В графе Realm name укажите имя Realm
• На вкладке Clients нажатием на конпку Create client инициируйте создание 2-х новых клиентов.
• Заполнить параметры 1го клиента
Client type - OpenID Connect
Client ID - ndr-data-platforme-proxy-frontend
Name - ndr-data-platforme-proxy-frontend
Description - Заполнить
После этого нажмите кнопку Next
• Сохранить 1-го клиента нажатием кнопки Save
• Заполнить параметры 2-го клиента :
Client type - OpenID Connect
Client ID - ndr-data-platforme-proxy-frontend
Name - ndr-data-platforme-proxy-frontend
Description - Заполнить
После этого нажмите кнопку Next
• Сохранить параметры 2го клиента нажатием кнопки Save
Добавить настройку клиентов :
Valid redirect - Заполнить
Valid post logout redirect URLs - Заполнить
Web origins - Заполнить
Client authentication - Положение ON
• Берем для 1-ого клинета access токен на вкладке credentinals client secret и прописываем значения в файл env-ndp.yaml
keycloakBackendSecretId
keycloakBackendSecretKey
• Берем для 2-ого клинета access токен на вкладке credentinals client secret и прописываем значения в файл env-ndp.yaml
keycloakProxySecretKey
keycloakProxySecretId
Настройка администратора в Keycloak
• На странице Clients вкладка Clients list нажимаем на строчку admin_cli
Valid redirect URLs - *
Valid post logout redirect URLs - +
Client authentication - Положение ON
• На странице Client details Берем access токен администратора в графе client_secret и прописываем значения в файл env-ndp.yaml
keycloakAdminSecretKey
Заводим пользователей системы NedraDataPlatform
• На странице Users вкладка User list нажимаем на кнопку Create new users
• Задаем информацию о пользователе
• Сохраняем пользователя нажатием на кнопку Create
• Задаем пароль на вкладке credentinal для данного пользователя нажатием на кнопку Set password
• Задаем пароль для этого пользователя
Генерация токена DataHub
• Нажимаем кнопку настройки “Manage your DataHub settings”
• На странице settings Нажать Generate new token , тем самаым инициируем создание токена
• Заполнить параметры генерации токена
Name - ndp-backend
Description - Token for access NedraDataPlatform
• Инициируем создание токена нажатием на кнопку Create
• Из графы Token cкопировать созданный токен и прописать в файл env-ndp.yaml
datahubToken
Описание
Основной репозиторий продукта Nedra.Data PLATFORM – первой цифровой платформы данных Upstream в России, построенной на открытом стеке.