MDM расшифровывается как Master Data Management — управление мастер-данными. Под ними понимают критичные для бизнеса сущности, которые должны быть едиными, точными и одинаково трактоваться во всех системах компании: например, карточки товаров, клиентов, поставщиков, подразделений, адресов и справочников.
В реальной компании один и тот же поставщик может одновременно присутствовать в ERP, CRM, закупочной системе, бухгалтерии и витрине данных. Если в одной системе он записан как «ООО Альфа», в другой — как «Альфа ООО», а в третьей имеет устаревший ИНН или адрес, начинаются ошибки: дублируются закупки, ломается отчётность, появляются некорректные связи между документами. Задача MDM — не просто «почистить таблицу», а создать понятный процесс, по которому такие данные создаются, проверяются, согласуются и передаются между системами.
Официальная документация 1С описывает типовую цепочку так: пользователь подаёт заявку, эксперт по НСИ обрабатывает её, в централизованной системе появляется запись, затем она реплицируется в рабочие системы. В международной терминологии результатом консолидации и стандартизации часто становится golden record — эталонная, авторитетная запись об объекте. (solutions.1c.ru)
Чем на самом деле занимается специалист MDM
Название вакансии может звучать по-разному: специалист MDM, эксперт НСИ, аналитик мастер-данных, data steward, администратор справочников, специалист по качеству данных. Содержание работы зависит от зрелости компании и используемых систем, но ядро профессии похоже.
Специалист MDM обычно работает с тремя вещами одновременно:
- данными — значениями атрибутов, кодами, категориями, дубликатами, связями между объектами;
- правилами — какие поля обязательны, кто имеет право менять карточку, как выглядит корректное наименование, по каким признакам искать дубли;
- процессом — заявка, проверка, согласование, публикация, синхронизация, контроль результата.
Например, бизнес просит завести новый товар. MDM-специалист не должен механически скопировать описание из письма в справочник. Он проверяет, нет ли уже такой позиции под другим названием, выбирает классификационную группу, убеждается, что заполнены единица измерения, бренд, ставка НДС или другие обязательные атрибуты, и при необходимости отправляет запись на согласование. После утверждения новая карточка должна корректно попасть в системы-получатели.
В MDM-платформах и ERP подобные процессы обычно поддерживаются через проверки, поиск дублей, обработку массовых изменений, согласование и распространение данных. SAP, например, описывает сценарии центрального ведения, консолидации и контроля качества; в них данные проверяются правилами, а найденные ошибки направляются на исправление. (help.sap.com)
Одна реалистичная рабочая задача
Представьте, что после загрузки списка из 8 000 поставщиков система нашла 430 подозрительных пар. Среди них:
- «Техно-Снаб, ООО» и «ООО Техноснаб»;
- две записи с одинаковым ИНН, но разными адресами;
- несколько контрагентов без страны регистрации;
- старые карточки, у которых не заполнен признак активности.
Ваш план как начинающего MDM-специалиста:
- Не удалять строки сразу и сохранить исходную выгрузку.
- Определить критерии для разных типов ошибок: точное совпадение ИНН, похожие названия, одинаковые банковские реквизиты, пустые обязательные поля.
- Разделить случаи на автоматические и требующие ручной проверки.
- Для каждой подтверждённой пары выбрать, какая запись станет основной, а какую нужно связать, объединить или архивировать по правилам компании.
- Зафиксировать решение и причину: это важно для повторяемости процесса и аудита.
- Проверить результат после загрузки или синхронизации в целевой системе.
Это работа, где аккуратность важнее эффектных презентаций. Ошибочно объединить двух разных поставщиков может быть опаснее, чем оставить несколько подозрительных записей на ручную проверку.
Подходит ли вам эта профессия
MDM — хорошее направление для человека, которому нравится находить несоответствия и превращать хаотичный список в управляемую структуру. Здесь полезнее терпение, логика и деловая внимательность, чем умение быстро писать сложный программный код.
Вам, вероятно, подойдёт эта роль, если вы:
- замечаете различия в названиях, форматах дат, единицах измерения и кодах;
- не боитесь повторяющихся проверок, если понимаете их смысл;
- умеете уточнять требования: «что именно считать дублем?» и «какое значение является источником истины?»;
- готовы разбираться в бизнес-процессах закупок, продаж, логистики, финансов или производства;
- можете объяснить коллегам, почему поле нельзя оставить пустым или заполнить произвольным текстом.
Стоит осторожнее выбирать MDM, если вам нужна работа почти без регламентов, частая смена задач и быстрый видимый результат каждый день. Ведение данных нередко связано с заявками, согласованиями, ограничениями доступа и зависимостью от других подразделений. Иногда вы уже нашли ошибку, но не можете исправить её без подтверждения владельца данных.
Важно также не путать MDM с соседними профессиями:
| Направление | Главный фокус | Типичный результат |
|---|---|---|
| Специалист MDM / НСИ | Единые карточки и правила ведения ключевых объектов | Корректная эталонная запись и процесс её изменения |
| BI-аналитик | Анализ данных и отчётность | Дашборд, выводы, метрики |
| Data engineer | Пайплайны, хранилища, техническая доставка данных | Надёжная загрузка и преобразование данных |
| Системный аналитик | Требования к информационным системам | Постановка задачи, схема процесса, спецификация |
На практике границы могут пересекаться. В небольшой компании один человек иногда совмещает несколько ролей. Но на старте MDM полезно позиционировать себя как человека, который умеет обеспечивать качество, однозначность и управляемость справочных данных.
Что изучать: порядок навыков без лишнего
Не пытайтесь начать с дорогой корпоративной платформы или с изучения всех ERP сразу. Сначала освойте логику данных и инструменты, которые можно применить к любой системе.
1. Понять структуру мастер-данных
Начните с базовых понятий:
- объект данных: товар, клиент, поставщик, адрес, сотрудник;
- атрибут: наименование, ИНН, артикул, единица измерения, категория;
- уникальный идентификатор: код, ИНН, внутренний ID, внешний ключ;
- справочник и классификатор: согласованный список допустимых значений;
- обязательность, полнота, точность, непротиворечивость, актуальность — разные измерения качества;
- источник истины: система или процесс, где конкретный атрибут считается авторитетным;
- владелец данных и стeward: люди, отвечающие за смысл данных и их операционное ведение.
Составьте собственную мини-модель. Возьмите объект «товар» и выпишите 15–20 атрибутов. Затем ответьте на вопросы: какие из них обязательны? какие допустимые значения ограничены справочником? какие могут меняться? кто должен подтверждать изменения?
2. Уверенно работать в Excel или аналогичных табличных инструментах
Excel — не замена MDM-системе, но отличный тренажёр для первых задач. Освойте таблицы, фильтры, сортировку, сводные таблицы, `XLOOKUP`/`ВПР`, `COUNTIF`/`СЧЁТЕСЛИ`, текстовые функции, проверку данных и Power Query.
Особенно важно понимать опасность механического удаления дублей. В Excel команда удаления дубликатов удаляет строки необратимо, поэтому Microsoft рекомендует сначала проверить результат фильтрацией или условным форматированием и сохранить копию исходного диапазона. (support.microsoft.com)
Практика: создайте лист с 300 строками «поставщиков», намеренно внесите дубли, лишние пробелы, разные регистры, пустые страны и два формата телефона. В отдельном листе не редактируйте исходные данные, а создайте столбцы для нормализованного имени, флага риска и комментария проверяющего.
3. Освоить SQL на уровне проверки и диагностики
Для первого MDM-места не обязательно быть разработчиком баз данных. Но SQL заметно расширяет возможности: вы сможете самостоятельно находить пустые атрибуты, повторяющиеся идентификаторы, нарушения правил и расхождения между таблицами.
Минимум, который стоит освоить:
- `SELECT`, `WHERE`, `ORDER BY`, `CASE`;
- `COUNT`, `GROUP BY`, `HAVING`;
- `DISTINCT` — с пониманием, что он не решает проблему смысловых дублей;
- `INNER JOIN` и `LEFT JOIN`;
- `INSERT` и `UPDATE` — сначала только на учебной базе;
- работа с `NULL`.
Официальный учебник PostgreSQL охватывает выборку, объединения таблиц, агрегатные функции, обновление и удаление данных. Для MDM особенно полезны `JOIN`: они позволяют сопоставлять записи из разных таблиц и находить случаи, когда связь не установлена. (postgresql.org)
Пример запроса для поиска повторяющегося ИНН в учебной таблице поставщиков:
```sql SELECT inn, COUNT() AS records_count FROM suppliers WHERE inn IS NOT NULL GROUP BY inn HAVING COUNT() > 1; ```
Но результат такого запроса — не приказ на удаление. Это очередь на проверку: одинаковый ИНН может означать дубль, филиалы, исторические записи или ошибку в источнике.
4. Изучить принципы интеграции, а не только интерфейс одной системы
В крупной организации мастер-данные редко живут в одном месте. Полезно понимать, что такое ERP, CRM, DWH, API, пакетная загрузка, обмен по событию, идентификаторы и сопоставление полей.
Не нужно на старте самостоятельно настраивать интеграцию. Достаточно уметь нарисовать простую схему: «заявка создаётся в портале → карточка утверждается в MDM → код передаётся в ERP и CRM → статус загрузки возвращается обратно». В 1С:MDM среди функций прямо указаны консолидация, нормализация, поиск и связывание дублей, создание эталонных объектов и синхронизация НСИ с разными информационными системами. (solutions.1c.ru)
5. Познакомиться с одной предметной областью
Данные без бизнес-контекста легко испортить. Выберите одну область и разберитесь в её объектах:
- закупки: поставщик, договор, номенклатура, единица измерения;
- ритейл: товар, SKU, бренд, категория, штрихкод;
- логистика: склад, адрес, маршрут, контрагент;
- финансы: юридическое лицо, ЦФО, статья бюджета;
- HR: сотрудник, должность, подразделение, локация.
Так вы сможете разговаривать не только о колонках таблицы, но и о последствиях ошибки.
План входа на 12 недель
Это не гарантированный срок трудоустройства, а реалистичная структура самостоятельной подготовки. Темп можно уменьшить или увеличить в зависимости от исходного опыта.
Недели 1–2: данные и терминология
- Разберите разницу между транзакционными, справочными и мастер-данными.
- Создайте словарь из 30 терминов: атрибут, ключ, дубль, нормализация, lineage, владелец данных, правило валидации и другие.
- Опишите модель «поставщик» или «товар»: поля, типы данных, обязательность, примеры допустимых значений.
Недели 3–4: качество данных в таблицах
- Соберите учебный CSV на 200–500 строк либо сгенерируйте его самостоятельно.
- Создайте правила: ИНН задан, страна выбрана из справочника, e-mail содержит `@`, код товара уникален, единица измерения не пуста.
- Отметьте нарушения, а не исправляйте их молча.
- Подготовьте краткий отчёт: сколько записей не проходит каждое правило, каков приоритет исправления, кто должен принять решение.
Недели 5–7: SQL и сопоставление источников
- Загрузите учебные таблицы `suppliers_erp` и `suppliers_crm` в локальную базу данных.
- Найдите совпадения по ИНН, расхождения в наименовании и записи, которые есть только в одной системе.
- Сформируйте таблицу сопоставления: исходный ID, целевой ID, уровень уверенности, решение, комментарий.
- Напишите пять SQL-запросов и поясните человеческим языком, что проверяет каждый из них.
Недели 8–9: правила и процесс
Смоделируйте процесс изменения карточки товара. Опишите роли: инициатор, эксперт НСИ, владелец данных, согласующий, администратор интеграции. Затем задайте маршрут для трёх ситуаций:
- создание новой позиции;
- изменение ставки НДС;
- объединение подтверждённого дубля.
Добавьте контрольные точки: что проверяется автоматически, что должен решить человек, где хранится история изменений, что делать при ошибке передачи.
Недели 10–12: портфолио и подготовка к собеседованию
Соберите один законченный кейс. Лучше один понятный проект с доказуемой логикой, чем десять сертификатов без практических результатов.
Портфолио: проект, который можно показать работодателю
Не используйте реальные выгрузки работодателей и не публикуйте персональные данные. Возьмите полностью вымышленные данные или открытый обезличенный набор, если его лицензия позволяет такую работу.
Кейс «Очистка и консолидация справочника поставщиков»
Сделайте папку или репозиторий из шести материалов:
- Описание задачи. Две системы содержат списки поставщиков, нужно получить единый реестр и очередь на ручную проверку.
- Модель данных. Таблица атрибутов: поле, тип, обязательность, пример, источник истины.
- Правила качества. Например: ИНН обязателен и уникален в пределах юридического лица; наименование не состоит только из сокращений; страна выбирается из разрешённого перечня.
- Файл до и после. Исходные записи не затираются; в очищенном наборе есть исходный ID и отметка о преобразовании.
- SQL-файл или Power Query. Он показывает, как вы искали точные совпадения и подозрительные записи.
- Отчёт на 1–2 страницы. Сколько записей проверено, какие ошибки найдены, что исправлено автоматически, что отправлено на ручное решение, какие риски остались.
Главный признак хорошего учебного кейса — не идеально чистая таблица. Напротив, покажите, где автоматизация останавливается. Например: «18 пар имеют похожие названия, но разные ИНН; объединять их без проверки нельзя». Это демонстрирует профессиональную осторожность.
Как искать первую роль и честно описывать себя
Ищите не только позицию с названием «MDM-специалист». Для старта подойдут роли, где есть НСИ, качество данных, администрирование справочников, поддержка ERP, миграции, ведение карточек товаров или контрагентов.
В резюме пишите не общие слова вроде «внимателен к деталям», а проверяемые действия:
- «Сформировал правила полноты и уникальности для учебного справочника из 500 записей»;
- «Выявил дубли по составному ключу и подготовил очередь ручной проверки»;
- «Написал SQL-запросы с `JOIN`, `GROUP BY` и `HAVING` для сверки двух источников»;
- «Описал процесс создания и согласования карточки товара».
На собеседовании полезно задавать встречные вопросы:
- Какие объекты являются мастер-данными в этой команде?
- Где находится источник истины для каждого ключевого атрибута?
- Какие системы участвуют в обмене?
- Как сейчас находят и разбирают дубли?
- Есть ли владельцы данных и формализованные правила качества?
- Какая доля работы связана с операционным ведением, а какая — с анализом, миграциями и улучшением процесса?
Ответы помогут отличить роль по управлению данными от позиции, где человек лишь вручную заполняет карточки без права влиять на качество и процесс.
Что изменит автоматизация — и почему профессия не сводится к ручной чистке
Поиск похожих строк, подсказки по заполнению атрибутов, массовая классификация и контроль форматов всё чаще автоматизируются. SAP, например, указывает, что машинное обучение может предлагать новые правила на основе анализа данных, но эти предложения должен оценить и добавить человек. (help.sap.com)
Поэтому перспективный MDM-специалист не соревнуется с инструментом в скорости копирования значений. Он учится:
- формулировать правило так, чтобы его можно было проверить автоматически;
- отличать вероятный дубль от подтверждённого;
- понимать последствия изменения для закупок, учёта, отчётности и интеграций;
- организовывать исключения и ручное согласование;
- измерять качество данных и объяснять приоритет исправлений бизнесу.
Чек-лист перед откликом на первую вакансию
Проверьте, можете ли вы уверенно сказать «да» хотя бы на 8–10 пунктов:
- [ ] Я объясню разницу между мастер-данными, транзакциями и справочником.
- [ ] Я умею описать объект «товар» или «поставщик» через атрибуты и правила.
- [ ] Я не удаляю дубли без резервной копии и понятных критериев.
- [ ] Я знаю, почему одинаковое название ещё не доказывает, что это один объект.
- [ ] Я могу написать запрос с `SELECT`, `WHERE`, `GROUP BY`, `HAVING` и `JOIN`.
- [ ] Я понимаю, что такое обязательное поле, классификатор и уникальный идентификатор.
- [ ] Я умею составить простую карту потока данных между двумя-тремя системами.
- [ ] У меня есть учебный кейс с исходными данными, правилами, результатом и объяснением решений.
- [ ] Я могу назвать ограничения своего решения и случаи для ручной проверки.
- [ ] Я знаю хотя бы одну предметную область: закупки, товары, логистика, финансы или HR.
- [ ] Я готов работать с регламентами, согласованиями и историей изменений.
Честный вывод
Вход в MDM реалистичен для начинающего специалиста, особенно если у вас уже есть опыт работы с Excel, 1С, учётом, закупками, товарами или операционными данными. Но это не «лёгкая IT-профессия без программирования»: придётся разбираться в структуре корпоративных систем, учиться задавать точные вопросы и отвечать за последствия изменений.
Начните не с названия конкретной платформы, а с практики: возьмите один справочник, сформулируйте правила качества, найдите дубли, документируйте решения и покажите, как данные проходят путь от заявки до эталонной записи. Такой кейс ближе к реальной работе MDM-специалиста, чем абстрактное знание терминов.