Проблема пропущенных данных. Методы работы с пропущенными данными (неответами).

Содержание:

Введение………………………………………………………………………….3

Глава 1. Подходы к работе с массивами данных, содержащих пропущенные значения…………………………………………………………………………5

1.1. Основные подходы к работе с пропусками в массивах данных…………………………………………………………………………….5

1.2.Методы восстановления пропусков в массивах данных…………………..7

Глава 2. Теория восстановления пропущенных данных……………………..12

2.1. Работа алгоритма по этапам……………………………………………….12

2.2.Корреляционно-регрессный анализ прибыли предприятия………………17

Заключение……………………………………………………………………..21

Список использованной литературы…………………………………………23

Введение

Актуальность темы исследования. На сегодняшний день разработано множество алгоритмов заполнения пропусков, однако сведения о них пока что не систематизированы и разбросаны по большому количеству работ. Непосредственно мало обзорных работ, которые давали бы представление о положительных или отрицательных сторонах, более известных в исследовательской практике алгоритмов заполнении пропусков. Обратим внимание, что достаточно мало исследований, которые были бы направлены на сравнительную оценку применимости отдельных алгоритмов заполнения пропусков, непосредственно, в конкретных исследовательских ситуациях. Вышеизложенное позволяет считать, что работа, направленная на систематизацию методов заполнения пропусков в данных, а также, выявление условий их эффективного использования в социологии, является актуальной.

Большинство исследователей, которые проводят исследования социально-экономических процессов, сталкиваются с проблемой пропуска данных или неответа в таблицах объект-свойство (12). Отметим, что эту проблему называют проблемой неполноты данных (3).

При этом, довольно часто выбросы тоже можно рассматривать как пропущенные данные. Обратим внимание, что, непосредственно, к выбросам можно отнести данные, которые явно противоречат данным всей выборки. Отметим, что, противоречие может возникать не только со значениями одного признака, но и со значением прочих признаков одного наблюдения. В обоих случаях перед исследователем стоит вопрос о том, можно ли отбросить всю строку таблицы данных, или же, каким-то образом исправить ошибку, то есть восстановить данные.

Многообразие ситуаций и причин возникновения пропусков в данных породило множество исследований в этой области. Особенно много работ, посвященных исследованию данной проблемы, в зарубежных источниках. Обширный список таких работ можно найти в отдельных работах отечественных ученых (2, 14). Большое количество методов потребовало систематизации подходов и разработки классификации методов (1, 3, 4, 5). Многие авторы за основу принимают схему классификации, представленную в работах (13, 15). В указанных выше работах приводятся основные принципы распространенных методов восстановления данных.

Объект исследования - проблема пропущенных данных. Методы работы с пропущенными данными (неответами).

Предмет исследования – рассмотреть проблему пропущенных данных, определить методы работы с пропущенными данными (неответами). Основная цель исследования – изучить проблему пропущенных данных, определить методы работы с пропущенными данными (неответами).

В соответствии с поставленной в работе целью, нами решались такие задачи, как: определить подходы к работе с массивами данных, содержащих пропущенные значения; рассмотреть основные подходы к работе с пропусками в массивах данных; изучить методы восстановления пропусков в массивах данных; рассмотреть корреляционно-регрессный анализ прибыли на примере таможенного предприятия.

Структура данной работы определена кругом исследуемых проблем, ее целями и задачами и составляет: введение, основную часть, содержащую две главы, заключение и список используемой в работе литературы