Контролировать можно лишь то, что можно измерить

Проверки качества данных

Настоящим я подтверждаю, что прочитал, понимаю и принимаю политику конфиденциальности. Я также подтверждаю, что данные, которые я ввожу или просматриваю, могут быть отправлены владельцам социальных сетей, а также могут сохраняться и обрабатываться ими в электронном виде.

В тесном сотрудничестве с Регулятивно-надзорным комитетом LEI (ROC) и выдающими коды LEI организациями фонд GLEIF определил ряд поддающихся измерению критериев качества, чтобы разъяснить концепцию качества данных применительно к базе данных LEI. С этой целью были использованы стандарты, разработанные Международной организацией по стандартизации. Внедрив набор определенных критериев качества, фонд GLEIF установил понятный и объективный стандарт для оценки уровня качества данных в Глобальной системе LEI.

Используемые фондом GLEIF проверки качества данных обеспечивают соответствие предоставленных справочных данных текущим правилам изменения состояния и проверки в Глобальной системе LEI. Эти проверки разработаны на основании форматов Файла общих данных (CDF).

Для каждой проверки качества данных указываются уровень качества, критерий качества, назначение и формальное описание, содержащее предварительное и конечное условие.

Этот набор проверок представляет так называемое Определение правил проверки качества. Каждая проверка проводится по формуле «Если X, тогда Y», в которой X — это предварительное условие проверки, а Y — конечное условие проверки. Если либо запись, либо информация о взаимозависимости или исключении не соответствует предварительному условию проверки, для этой проверки указывается «неприменимо». Если эта информация проходит предварительную проверку и переводится на этап конечной проверки, а полученное значение не соответствует условию Y, такая проверка получает статус «не пройдена»; в противном же случае ей присваивается статус «пройдена».

• Назначение
  Назначение указывается простым языком и содержит общее описание цели конкретной проверки качества данных.
• Предварительное условие
  Не каждая проверка качества данных может использоваться для всех записей LEI. Например, проверки качества данных применимы только для юридических лиц-подразделений или действующих юридических лиц. Предварительное условие каждой проверки позволяет отфильтровать те записи LEI, которые не соответствуют требованиям для отдельно взятой проверки.
• Конечное условие
  Для каждой проверки качества данных предусмотрены определенные четкие условия, при которых она не считается пройденной. Это условие применяется только к тем записям LEI, которые соответствуют предварительному условию для отдельно взятой проверки качества данных.

---

Категории проверок

Проверки качества данных также могут разделяться на категории в зависимости от их характера и типа измеряемых показателей. Например, при проведении метапроверок основное внимание уделяется таким критериям, как охватываемый период, актуальность и доступность, тогда как проверки формата в основном проводятся с использованием Единых форматов файлов данных и встроенной схемы XML. Проверки на уровне записей применяются к элементам в обязательных и дополнительных полях и включают в себя проверки формата и достоверности (например, диапазоны значений).

---

Модель уровня качества

Для определения общего качества данных в Глобальной системе LEI фонд GLEIF использует специальную модель, позволяющую оценить установленные критерии качества. В зависимости от типа проверок, относящихся к разным категориям, каждая проверка связывается с одним уровнем качества. Уровни качества «Отличный» и «Ожидаемый» могут быть достигнуты только в том случае, если полностью удовлетворены требования для всех более низких уровней качества.

---

Критерии качества данных

Внедрив набор определенных критериев качества, фонд GLEIF установил понятный и объективный стандарт для оценки уровня качества данных в Глобальной системе LEI.

Критерий качества	Определение
Точность	Степень, до которой в данных отсутствуют поддающиеся обнаружению ошибки; степень до которой элемент данных или набор данных соответствует данным, имеющимся в авторитетном источнике и считающимся верными; а также степень, в которой данные дают верное представление о предмете из реального мира
Доступность	Степень, до которой можно просто и без нарушения закона получить элементы данных, обладающие надежными средствами защиты и контроля, предусмотренными в процессе
Полнота	Мера наличия всех необходимых данных
Всесторонний характер	Присутствуют все требуемые элементы данных; этот критерий гарантирует, что собран весь объем данных, а умышленные ограничения задокументированы
Согласованность	Степень, до которой каждая уникальная часть данных сохраняет одно и то же значение в разных наборах данных
Актуальность	Степень, до которой данные соответствуют действительности (значение данных является действительным, если оно актуально для определенного момента времени, и считается устаревшим, если оно было актуальным ранее, но не соответствует действительности в более позднее время)
Целостность	Степень соответствия установленным правилам в отношении связи между данными (например, непротиворечивости ссылок на первичные или вторичные ключи)
Происхождение	История или источник значения свойства
Представительность	Характеристика качества данных, касающаяся формата, шаблона, удобочитаемости, а также пригодности данных для использования в намеченных целях
Охватываемый период	Степень, до которой данные доступны, когда они необходимы, или концепция качества данных, что включает в себя информацию о том, являются ли данные обновленными и доступными в пределах соответствующих временных рамок; охватываемый период определяется целью и контекстом использования данных
Уникальность	Характеристика элемента данных, все отдельные значения которого появляются только один раз
Действительность	Мера того, насколько значение данных соответствует его области значений (то есть набору допустимых значений или диапазона значений)