Сравнение наборов телеметрии: что показывает общая часть идентификаторов
При сравнении двух выгрузок полезно сначала выяснить, какие идентификаторы присутствуют в обеих, какие появились и какие исчезли. Количество строк для этой задачи может мешать: один источник способен повториться много раз. Рассмотрим собственные условные наборы A = {1, 2, 3, 4} и B = {3, 4, 5}. Это вымышленные метки каналов, а не идентификаторы реальных судов. Задача — описать состав наборов и границы вывода, не меняя исходные журналы.
Определить, что считается элементом
Сначала задают правило идентичности. В примере элементом является точное целое обозначение из учебного списка. В настоящей выгрузке одного короткого имени может быть недостаточно: одинаковые подписи способны относиться к разным устройствам, а один источник может иметь разные обозначения после документированной замены.
Поэтому сравнение выполняют только после согласования смысла ключа и области данных. Нельзя автоматически объявить физический канал тем же самым по похожей строке. Если соответствие неизвестно, это отдельная неопределённость, которую математическая операция над наборами не устраняет.
Найти общую часть
Пересечение A и B содержит элементы 3 и 4. Это означает, что в обоих учебных наборах присутствуют две одинаковые метки. Объединение содержит 1, 2, 3, 4 и 5, то есть пять разных элементов, встречающихся хотя бы в одном наборе.
Разность A без B даёт 1 и 2: они присутствуют только в первом. Разность B без A даёт 5: он присутствует только во втором. Такая запись информативнее одного общего числа совпадений, потому что сохраняет направление изменения состава.
Вычислить показатель сходства
Для непустого объединения можно разделить размер пересечения на размер объединения. Этот показатель называют коэффициентом Жаккара. В нашем примере он равен 2 / 5 = 0,4, или 40 процентов. Он описывает долю общей части среди всех различных элементов двух наборов.
Это не доля успешно доставленных пакетов и не процент времени исправной работы. У показателя другой знаменатель и другой вопрос. Нельзя назвать его полнотой наблюдения без заранее определённого ожидаемого состава: два одинаково неполных набора могут иметь максимальное сходство между собой.
Не потерять частоты и время
Если в первой выгрузке метка 1 повторяется несколько раз, множество по-прежнему содержит один элемент 1. Это удобно для сравнения состава, но уничтожает сведения о частоте сообщений. Поэтому исходные строки сохраняют отдельно от производного набора.
Также присутствие метки хотя бы один раз за период не доказывает непрерывную доступность источника. Два набора могут совпадать по составу, но сильно различаться по времени наблюдений, числу записей и пропускам. Для этих вопросов нужны отдельные показатели и исходные временные сведения.
Разобрать пустые случаи
Если один набор пуст, а другой нет, пересечение пусто и коэффициент по выбранной формуле равен нулю. Но когда оба пусты, знаменатель тоже равен нулю. Само деление не определяет результат; программа должна явно обозначить отсутствие вычисленного значения либо использовать заранее документированное соглашение.
Нельзя молча считать два пустых журнала доказательством идеального наблюдения. Они могут быть пустыми по разным причинам: не было сообщений, выгрузка не выполнена или источник недоступен. Совпадение пустого состава не отвечает, какой из этих случаев произошёл.
Сохранить воспроизводимый итог
Полезный отчёт содержит область и период выгрузок, правило идентичности, общую часть и обе направленные разности. Если вычислен коэффициент, рядом сохраняют числитель, знаменатель и правило пустого случая. Одна итоговая доля без этих сведений скрывает смысл сравнения.
В учебном примере общих элементов два, объединённых пять, исчезнувших из второго набора два и новых в нём один. Это прозрачное описание состава. Оно не доказывает физическую замену оборудования, доставку каждого сообщения или полноту судового мониторинга, но позволяет начать дальнейший разбор с точных и проверяемых исходных различий.
Запросы отправляются на наш e-mail из вашей почтовой программы.
