OpenMetadata

Что такое OpenMetadata?

OpenMetadata — единая платформа метаданных для обнаружения данных, наблюдаемости и управления данными, основанная на центральном репозитории метаданных, детальной трассировке происхождения на уровне столбцов и удобном командном взаимодействии. Это один из наиболее быстро развивающихся open-source проектов с активным сообществом и широким применением в компаниях различных отраслей. Основанный на открытых стандартах и API метаданных и поддерживающий коннекторы к широкому спектру сервисов данных, OpenMetadata обеспечивает сквозное управление метаданными, открывая ценность ваших данных.

• Возможности
• Попробуйте Sandbox
• Установка и запуск
• Дорожная карта
• Документация и поддержка
• Участники

OpenMetadata состоит из четырёх основных компонентов:

• Схемы метаданных: Базовые определения и словарь метаданных, основанные на общих абстракциях и типах. Поддерживают пользовательские расширения и свойства для различных сценариев использования и доменов.
• Хранилище метаданных: Центральный репозиторий для хранения и управления графом метаданных, объединяющий активы данных, пользователей и метаданные, генерируемые инструментами.
• API метаданных: Интерфейсы для создания и потребления метаданных, построенные поверх схем метаданных. Обеспечивают бесшовную интеграцию пользовательских интерфейсов, инструментов, систем и сервисов с хранилищем метаданных.
• Фреймворк приёма данных: Подключаемый фреймворк для загрузки метаданных из различных источников и инструментов в хранилище метаданных. Поддерживает более 84 коннекторов для хранилищ данных, баз данных, дашбордов, сервисов обмена сообщениями, пайплайнов и других систем.

Ключевые возможности OpenMetadata

Обнаружение данных: Находите и исследуйте все активы данных в одном месте с помощью различных стратегий: поиск по ключевым словам, связи данных и расширенные запросы. Поиск охватывает таблицы, топики, дашборды, пайплайны и сервисы.

Совместная работа с данными: Общайтесь и взаимодействуйте с другими пользователями и командами по вопросам активов данных. Доступны уведомления о событиях, оповещения, объявления, задачи и цепочки обсуждений.

Качество данных и профилировщик: Измеряйте и контролируйте качество данных без написания кода, чтобы повысить доверие к данным. Определяйте и запускайте тесты качества данных, группируйте их в наборы тестов и просматривайте результаты на интерактивном дашборде. Благодаря развитым инструментам совместной работы сделайте качество данных общей ответственностью в вашей организации.

Управление данными: Применяйте политики и стандарты работы с данными в масштабах организации. Определяйте домены и продукты данных, назначайте владельцев и заинтересованных лиц, классифицируйте активы данных с помощью тегов и терминов. Используйте мощные инструменты автоматизации для автоматической классификации данных.

Аналитика данных и KPI: Используйте отчёты и аналитику платформы для оценки состояния данных в организации. Data Insights предоставляет единое представление всех ключевых метрик, отражающих состояние ваших данных. Определяйте ключевые показатели эффективности (KPI) и устанавливайте цели в OpenMetadata для улучшения документирования, управления владением и уровнями данных. Для KPI можно настроить оповещения по заданному расписанию.

Происхождение данных: Отслеживайте и визуализируйте происхождение и трансформации активов данных сквозным образом. Доступны просмотр происхождения на уровне столбцов, фильтрация запросов и ручное редактирование графа происхождения через редактор без кода.

Документирование данных: Документируйте активы данных и сущности метаданных с использованием форматированного текста, изображений и ссылок. Добавляйте комментарии и аннотации, формируйте словари данных и каталоги данных.

Наблюдаемость данных: Отслеживайте состояние и производительность активов данных и пайплайнов. Просматривайте метрики: актуальность данных, объём, качество и задержку. Настраивайте оповещения и уведомления об аномалиях или сбоях.

Безопасность данных: Защищайте данные и метаданные с помощью различных механизмов аутентификации и авторизации. Интегрируйтесь с различными провайдерами идентификации для единого входа (SSO) и определяйте роли и политики управления доступом.

Webhooks: Интегрируйтесь с внешними приложениями и сервисами через webhooks. Регистрируйте URL для получения уведомлений о событиях метаданных и интегрируйтесь со Slack, Microsoft Teams и Google Chat.

Коннекторы: Загружайте метаданные из различных источников и инструментов с помощью коннекторов. OpenMetadata поддерживает более 84 коннекторов.