Аналіз даних (лекції)
Кравцов Г.М.
Надіслав: Кравцов Геннадий (2 лютого 2005р.)
Факультет комп'ютерних наук, фізики та математики :: Дисципліни кафедри комп’ютерних наук та програмної інженерії :: Аналіз даних
Анотація
Викладено основні методи обробки статистичних даних. Рекомендовано для студентів 3 курсу спеціальностей 121 Інженерія програмного забезпечення, 122 Комп’ютерні науки та 126 Інформаційні системи та технології".
 
За основу взято "Короткий конспект лекцій з математичної статистики" Н.І.Чорнової (НГУ) та "Методи планування та обробки результатів інженерного експерименту" Н.А.Спіріна, В.В.Лаврова (УДТУ)
План
Аналіз даних (лекції)
Syllabus
Аналіз даних (лекції)
   Лекція 1. Апроксимація даних. Метод найменших квадратів

   Лекція 2. Елементи математичної статистики. Вибіркові характеристики

  • Задачі математичної статистики.
  • Основні поняття вибіркового методу.
  • Емпірична функція розподілу, гістограма.
  • Оцінка функції та щільності розподілу випадкової величини.
    Lecture2.pdf
    Lecture2u.pdf

   Лекція 3. Елементи математичної статистики (продовження)

  • Емпіричні моменти.
  • Збіжність емпіричних показників до теоретичних.
  • Груповані дані.
  • Питання та вправи.
    Lecture3.pdf
    Lecture3u.pdf

   Лекція 4. Точкове оцінювання

  • Параметричні сімейства розподілів.
  • Точкові оцінки. Незміщеність, спроможність оцінок.
  • Методи знаходження оцінок: метод моментів.
  • Спроможність оцінок методу моментів.
  • Методи знаходження оцінок: метод максимальної правдоподібності.
  • Питання та вправи.
    Lecture4.pdf
    Lecture4u.pdf

   Лекція 5. Порівняння оцінок 

  • Способи порівняння оцінок.
  • Середньоквадратичний підхід. Ефективність оцінок.
  • Єдиність ефективної оцінки у класі з фіксованим зміщенням.
  • Асимптотично нормальні оцінки.
  • «Швидкість» збіжності оцінки до параметра.
  • Асимптотична нормальність та центральна гранична теорема.
  • Асимптотична нормальність оцінок виду H().
  • Асимптотичний підхід до порівняння оцінок.
  • Питання та вправи.
    Lecture5.pdf
    Lecture5u.pdf

   Лекція 6. Ефективні оцінки. Порівняння оцінок

  • Умови регулярності. Регулярні та нерегулярні сімейства розподілів.
  • Нерівність Рао-Крамера.
  • Нерівність Рао-Крамера як засіб перевірки ефективності оцінок.
  • Найкращі лінійні незміщені оцінки.
  • Питання та вправи.
    Lecture6.pdf
    Lecture6u.pdf

   Лекція 7. Довірчі інтервали

   Лекція 8. Розподіли, пов'язані з нормальним

  • Гамма-розподіл та його властивості.
  • Розподіл «хі-квадрат» та його властивості.
  • Розподіл Стьюдента та його властивості. 
    Lecture8.pdf
    Lecture8u.pdf

   Лекція 9. Розподіли, пов'язані з нормальним (продовження)

  • Перетворення нормальних вибірок.
  • Лемма Фішера.
  • Побудова точних довірчих інтервалів параметрів нормального розподілу.
  • Питання та вправи.
    Lecture9.pdf 
    Lecture9u.pdf

   Лекція 10. Перевірка гіпотез

  • Гіпотези та критерії.
  • Дві прості гіпотези.
  • Способи порівняння критеріїв.
  • Побудова найпотужнішого критерію. Лемма Неймана – Пірсона.
  • Лемма Неймана – Пірсона.
  • Питання та вправи.
    Lecture10.pdf
    Lecture10u.pdf

   Лекція 11. Критерії згоди

  • Спроможність критерію.
  • Побудова критеріїв згоди.
  • Критерії згоди: критерій Колмогорова.
  • Критерії згоди: критерій "хі-квадрат" (Пірсона).
  • Критерій "хі-квадрат" (Пірсона). Параметрична гіпотеза.
    Lecture11.pdf
    Lecture11u.pdf

   Лекція 12. Критерії згоди (продовження)

  • Перевірка гіпотези однорідності: критерій Колмогорова – Смирнова.
  • Перевірка гіпотези незалежності: критерій "хі-квадрат" Пірсона.
  • Гіпотеза про збіг середніх двох нормальних сукупностей із рівними дисперсіями.
  • Гіпотеза про середню нормальну сукупність із відомою дисперсією.
  • Гіпотеза про середню нормальну сукупність із невідомою дисперсією.
  • Гіпотеза про параметри розподілу: критерії, що ґрунтуються на довірчих інтервалах.
    Lecture12.pdf
    Lecture12u.pdf

   Лекція 13. Дослідження статистичної залежності: лінійна регресія

  • Модель регресії.
  • Метод найменших квадратів: приклади.
  • Загальна модель лінійної регресії.
  • Метод найменших квадратів. Нормальне рівняння.
  • Властивості УМНК.
  • Оптимальний вибір матриці плану.
    Lecture13.pdf
    Lecture13u.pdf

   Лекція 14. Планування 1-го порядку. Повний факторний експеримент

  • Експеримент як об'єкт дослідження. Основні визначення та поняття.
  • Поняття математичної теорії планування експерименту.
  • Приклад хорошого та поганого експерименту. 
    Lecture14.pdf
    Lecture14u.pdf

   Лекція 15. Планування 1-го порядку. Повний факторний експеримент (продовження)

  • Вибір та ранжування основних факторів та їх рівнів.
  • Планування експерименту.
  • Визначення коефіцієнтів рівняння регресії.
  • Статистичний аналіз результатів експерименту.
    Lecture15.pdf 
    Lecture15u.pdf

   Лекція 16. Планування 1-го порядку. Дробний факторний експеримент 
          
Lecture16u.pdf          Lecture16.pdf
          Lecture16_big.pdf

   Лекція 17. Плани другого порядку

   Лекція 18. Планування експериментів під час пошуку оптимальних умов

  Додаток. Література
          Literature.pdf