A Comparison of Machine Learning Methods for Missing Value Imputation and Their Impact on Statistical Distribution

Отсутствие данных представляет собой серьезную проблему при анализе данных, поскольку может привести к искажению статистических распределений и неверным выводам. В последнее время для устранения этих пробелов стали популярны методы машинного обучения (ML). В этой статье рассматриваются различные подходы ML к заполнению пропущенных значений, уделяя особое внимание ленивым учащимся, таким как K-NearestNeighbors (KNN), а также стратегии группового обучения, такие как создание пакетов с использованием случайного леса и дополнительных деревьев, в дополнение к усилению обучаемости, таким как градиентное усиление, экстремальное градиентное усиление, легкое Машина для повышения градиента и категориального повышения. В этой статье используются два набора данных из UCI, затем мы искусственно моделируем пропущенное значение, пропуская его полностью случайным образом (MCAR), пропуская случайным образом (MAR) и пропуская неслучайно (MNAR) с различными пропорциями пропущенных значений (от 5% до 25%), а затем вычисляем их несколькими методами ML, таким образом модели были оценены с использованием среднеквадратичной ошибки (RMSE) и R2, поэтому для сравнения распределения исходного набора данных и расчетного набора данных мы используем среднеквадратичную ошибку (SSE). Экспериментальные результаты для обоих наборов данных показывают, что методы, основанные на дереве, такие как случайный лес и дополнительные деревья, за которыми следует легкий GBM, продемонстрировали превосходную производительность при расчете набора данных. В отличие от этого, KNN продемонстрировал заметное снижение производительности по мере увеличения доли отсутствующих данных. В наших экспериментах MCAR в целом показал себя наиболее надежным, сохраняя сходство с исходными данными и сводя к минимуму ошибки в расчетах. Однако MNAR продемонстрировал значительные искажения в распределении и SSE, что подчеркивает его сложность и снижает эффективность даже сложных моделей.