01
Хранилище данных из разных источников
Много неоднородных источников, одна надёжная запись об игроке.
Проблема
У каждого источника свои идентификаторы, написания и сезоны. Сбои проходят незаметно: однажды открытый набор данных обнулил рыночную стоимость 10 021 игрока, сохранив число строк.
Как это работает
- До публикации каждый импорт проходит пять проверок: структура данных, потеря не более 15 % строк, минимальное число записей, заполненность столбцов и даты, которые не идут назад. Если проверка не пройдена, рабочие данные не меняются.
- Игроки сопоставляются за три прохода с оценкой уверенности: точный идентификатор (1,0), имя и дата рождения (0,95), близкое имя с одним явным кандидатом (0,8). Ручные связи никогда не перезаписываются.
- Клубы сопоставляются голосованием: минимум три общих игрока и явный перевес. Совпадение результатов составляет 99,7 %.
- До загрузки данных 21 эталонный трансфер должен совпасть с погрешностью не более 1 %. Источники сверяются каждую неделю, расхождения становятся задачами.
Состояние
- Работает: используется в продакшне529 137 записей о трансферах с 1996 по 2026 год, 72 828 игроков, 15 961 клуб.
Где ещё применимо
Каталоги товаров от разных поставщиков, данные о недвижимости, медицинские реестры, KYC, логистика.