Обучающая выборка (training sample) — выборка, по которой производится настройка (оптимизация параметров) модели зависимости.
Если модель зависимости построена по обучающей выборке X в степени m, то оценка качества этой модели, сделанная по той же выборке X в степени m оказывается, как правило, оптимистически смещённой. Это нежелательное явление называют переобучением. На практике оно встречается очень часто. Хорошую эмпирическую оценку качества построенной модели даёт её проверка на независимых данных, которые не использовались для обучения.
Определения понятий нужно выкладывать в Вики (http://it-claim.ru/wiki/). Напиши в личку, скажу пароль. А в блоге нужно давать какие-то комментарии, рассуждения и т.д. И не забывай указывать ссылки откуда берется материал.