Понятие указывающее нам что именно тест измеряет это
Общее понятие о валидности теста. Виды валидности.
Валидность теста
Внешняя и внутренняя валидность
– Перекрестнаявалидизация данных на разных выборках испытуемых.
отношении достижения определенной практической цели: прогнозирования, диагностики.
• Выделяют много разных видов валидности.
– Классификация в достаточной мере условна, поскольку одни методы и данные могут использоваться для доказательства различных типов валидности.
Виды валидности
• Концептуальная (теоретическое обоснование возможности измерения исследуемого свойства с помощью данного психодиагностического средства или метода).
• Содержательная (характеризуется степенью представленности в заданиях методики содержания измеряемой области психических функций).
– Тест должен охватывать всю область изучаемого поведения.
• Конструктная (определяется тем насколько результаты теста могут быть рассмотрены в качестве меры исследуемого психологического конструкта (фактора или свойства).
• Операционная– отражает (в модельном плане) степень представленности реальных операционных условий психической деятельности в конкретных экспериментальных операциях, выполняемых испытуемыми в заданиях психодиагностической методики.
• Эмпирическая– совокупность сравнительных характеристик теста, полученная статистическими способами оценивания.
27.Общее понятие о достоверности тестовых данных.
Речь идет о сознательных или бессознательных искажениях, которые вносит в тестовые результаты сам испытуемый, руководствуясь в ходе теста особой мотивацией, отличающейся от той, которая присуща ему в реальном поведении. Способность теста защищать информацию от МОТИВАЦИОННЫХ ИСКАЖЕНИЙ и есть достоверность теста. Особенно, остро проблема достоверности стоит в случае тест-опросников, которые допускают больше свободы в выборе испытуемым любого варианта ответа.
Типичный прием обеспечения достоверности — наличие в тест-опросниках ШКАЛ ЛЖИ. Эти шкалы основываются главным образом на феномене СОЦИАЛЬНОЙ ЖЕЛАТЕЛЬНОСТИ — стремлении испытуемых давать в ходе тестирования социально одобряемую информацию. Если испытуемый набрал по шкале лжи балл выше критического, то его протокол объявляется недостоверным и ему предлагается либо выполнить данный тест еще раз более откровенно, либо выполнить другой тест. Многие более специфичные ловушки, направленные на измерение достоверности, часто входят как компонент в структуру конкретного теста, а иногда даже не подлежат разглашению как элемент ноу-хау (информационного изобретения) и профессиональной тайны, разделяемой разработчиками только с лицензированными пользователями методики, подписавшими особое лицензионное соглашение при приобретении теста.
Достоверность тестирования тесно связана со степенью доверительности общения, которую смог психолог установить с данным испытуемым. Здесь полезно различать две диагностические ситуации: консультативную (СИТУАЦИЯ КЛИЕНТА) и аттестационную (СИТУАЦИЯ ЭКСПЕРТИЗЫ). В первом случае испытуемый участвует в тестировании на добровольной основе и сам заинтересован получить рекомендации по результатам тестирования (как, например, в профориентационной консультации). Во втором случае тестирование проводится по инициативе педагога или администрации, психолога, родителей, т. е. других лиц, и эти другие больше заинтересованы в результатах, чем сам испытуемый.
Понятно, что в аттестационной ситуации вопрос о достоверности особенно актуален. И опросники, не снабженные шкалами лжи, использовать в таких ситуациях бесполезно. Наоборот, в ситуации клиента могут быть использованы такие методики, на которые испытуемый заведомо будет отвечать некорректно в ситуации экспертизы.
Организация стока поверхностных вод: Наибольшее количество влаги на земном шаре испаряется с поверхности морей и океанов (88‰).
Понятие указывающее нам что именно тест измеряет это
136. Повышение интереса к проблемам диагностики в нашей стране связано с появлением новой профессии
• практический психолог
138. Последовательное деление целого на две части, затем каждой части снова на две и т.д. — это:
• дихотомия
139. Постоянство измерений теста показывает:
• надежность
140. Правильная постановка задач работы с детьми, выбор содержания и методов воздействия на них, затраченное время и силы педагогов, время и активность учащихся в процессе воспитательного акта, изменения воспитанности детей и педагогического мастерства их воспитателей, связь воспитательных мер с общей системой обучения и воспитания в школе — это __________________ показатели педагогической деятельности.
• качественные
141. Предметом педагогической деятельности является:
• формирующаяся личность
142. При аттестации образовательного учреждения его специфика
• учитывается
143. При проверке знаний учащихся учителями используется подход
• нормативно-ориентированный
144. Признак, на основании которого производится оценка, определение или классификация чего-либо, называется:
• критерием
145. Признание тождественности, отождествление объектов, их опознание — это:
• идентификация
146. Присутствие наблюдателя в образовательном учреждении при аттестации направлено на:
• охрану прав учащихся в ходе аттестационного обследования
147. Процедура выявления состояния или качества продукта или процесса, состоящая из операций выявления требуемого качества, измерения его величины и присвоения некоторой оценки, называется:
• диагностикой
149. Процесс сравнения достигнутого учащимися уровня владения знаниями с эталонными представлениями, описанными в программе, — это:
• оценка
150. Процесс, в ходе которого вся информация, полученная в результате диагностического исследования, сводится в единое целое, получил название:
• интерпретации
Понятие указывающее нам что именно тест измеряет это
Факультет психологии запись закреплена
ХАРАКТЕРИСТИКИ ТЕСТА, ЧАСТЬ 3: ВАЛИДНОСТЬ. ФОРМЫ ВАЛИДНОСТИ ТЕСТА
Валидность — комплексная характеристика теста, включающая сведения об области исследуемых явлений и репрезентативности используемой в отношении нее диагностической процедуры [Бурлачук-Морозов]. Другими словами, тест называется валидным, если он измеряет то, для измерения чего он предназначен [Клайн]. А. Анастази пишет, что валидность теста это понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает.
В понятие валидности входит большое количество информации о тесте. Различные категории такой информации и способы ее получения образуют типы валидности:
Очевидная (внешняя, лицевая) валидность — сведения о тесте, сфере его применения, результативности и прогностической ценности, возникающие у испытуемого или другого лица, не обладающего специальными знаниями об истинной валидности. Очевидная валидность обычно демонстрируется через название и инструкцию к тесту, и помогает наладить сотрудничество с исследуемыми.
Основными видами настоящей валидности являются:
— содержательная,
— конструктная и
— критериальная валидности.
После генерирования необходимого количества задач, они подвергаются экспертной оценке. Существует два способа экспертной оценки:
— коллективная и
— средневзвешенная — может организовываться через усреднение рейтингов, шкалирований или парных сравнений.
Таким образом, содержательная валидность формируется одной из первых видов валидности и проверять ее можно сразу.
Конструктная валидность (идентификация конструкта).
При разработке теста формулируется ряд гипотез о том, как будет связан исследуемый тест с другими тестами, измеряющими подобные, противоположно направленные или независимые психологические явления. Эти гипотезы выдвигаются на основании теоретических представлений об измеряемых свойствах, как о психологических конструктах. Подтверждение гипотез свидетельствует о теоретической обоснованности методики, т.е. о степени ее конструктной валидности. Этот тип валидности является наиболее сложным и комплексным.
Так же с конструктом теста. Его подвергают:
— корреляции с другими уже валидизированными тестами, которые измеряют подобные явления и должны коррелировать с этим новым тестом (конвергентная валидность);
— его подвергают корреляции с другими уже валидизированными тестами, которые измеряют несвязанные, совсем другие явления и не должны коррелировать с этим новым конструктом (дивергентная валидность).
Также выдвигаются и проверяются гипотезы о наличии или отсутствии половых различий в группах мужчин и женщин по данному тесту; выдвигаются и проверяются гипотезы о наличии или отсутствии по этому тесту возрастных различий в группах молодых, средних и старших по возрасту людей; предлагаются способы психофизиологической и экспериментальной проверки валидности теста.
Проверяется исходная валидность путем статистической корреляции баллов по тесту и показателей по внешнему параметру, выбранному в качестве критерия валидизации.
Валидизация по любому критерию эффективно осуществляется методом контрастных групп (умственно отсталых и с нсохранным интеллектом, страдающих и не страдающих психическими заболеваниями, асоциальных-просоциальных и т.п.).
В качестве объективных критериев валидизации часто используют:
— Объективные социально-демографические и биографические данные (стаж, образование, профессия, приемы или увольнение с работы, количество браков и разводов и т.п.);
— Показатели успеваемости, которые зачастую являются критериальной мерой тестов способностей, достижений в отдельных дисциплинах, тестов интеллекта;
— Производственные показатели эффективности выполнения определенных видов профессиональной деятельности, которые имеют наибольшее значение при валидизации методик, используемых в профотборе и профориентации;
— Результаты реальной деятельности (рисование, моделирование, музыка, составление рассказа и т.д.) при испытании тестов общих и специальных способностей, креативности, тестов личности;
— Врачебный диагноз или другие выводы специалиста;
— Контрольные испытания знаний и умений;
— Данные других методик и тестов, валидность которых считается установленной.
Перекрестная валидизация (кросс-валидизация).
Важно, чтобы валидность теста проверялась на выборке испытуемых, отличной от той, с помощью которой осуществлялся анализ и отбор задач. Любой коэффициент валидности, найденный на выборке, которая применялась для отбора задач, окажется завышенным, так как случайные особенности этой выборки будут учитываться как настоящие свойства популяции.
Чем меньше будут выборки испытуемых при анализе задач, меньшее количество задач оставлено после анализа, а также задачи отбираются чисто эмпирически, без теоретического обоснования, тем больше вероятность того, что они будут иметь после кросс-валидизации неудовлетворительную валидность.
Мир психологии
психология для всех и каждого
Надёжность и валидность психодиагностических методик
Надёжность и валидность психодиагностических методик
Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность. К числу основных критериев оценки психодиагностических методик относятся надежность и валидность.
Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк, Е. Хаген и др.). Ими были разработаны формально-логический и математико-статистический аппарат (прежде всего корреляционный метод и фактический анализ) обоснования степени соответствия методик отмеченным критериям.
В традиционной тестологии термин «надёжность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.
Надёжность методики – это критерий, который говорит о точности психологических измерений, то есть позволяет судить о том, насколько внушают доверие полученные результаты.
Это согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по эквивалентности, по содержанию заданий. Надежность характеризует тесты свойств, но не состояний. Свойства:
Степень надёжности методик зависит от многих причин. Среди негативных факторов наиболее часто называются следующие:
Одним из важнейших средств повышения надежности методики является единообразие процедуры обследования, его строгая регламентация: одинаковая обстановка, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми и так далее.
На характеристику надёжности методик большое влияние оказывает исследуемая выборка. Она может, как снижать, так и завышать этот показатель, например, надежность, может быть искусственно завышена, если в выборке небольшой разброс результатов, т.е. если результаты по своим значениям близки друг к другу. Поэтому в руководстве обычно делается описание выборки, на котором определялась надёжность методики.
В настоящее время надежность все чаще определяется на наиболее однородных выборках, т.е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.п.
К.М. Гуревич предложил толковать надёжность как:
Определение надежности измерительного инструмента. От того как составлена методика, насколько правильно подобраны задания, насколько она однородна зависит точность, объективность измерения.
Для проверки надежности измерительного инструмента, говорящего о его однородности (гомогенности) используют метод расщепления. Задания делят на четные и нечетные (необходимо выполнение всех заданий), а затем результаты коррелируются между собой. Если методика однородна, то большой разницы в успешности по этим половинам не будет, коэффициент будет высоким. Можно сравнивать по частям, но лучше по четным и нечетным, т.к. этот способ не зависит от тренировки, утомления и т.д.
Методика надежна, если коэффициент не ниже 0,75 – 0,85, лучше 0,90 и выше.
Определение стабильности изучаемого признака. Также необходимо установить насколько устойчив, стабилен признак, который исследователь намерен измерять. Признак со временем может меняться, но колебания его не должны иметь непредсказуемый характер.
Для проверки используется прием, который называется тест-ретест. Он заключается в повторном обследовании испытуемых с помощью этой же методики. О стабильности судят по коэффициенту корреляции между результатами первого и второго обследования. Он будет свидетельствовать о сохранении или не сохранении каждым испытуемым своего порядкового номера в выборке.
На степень устойчивости влияет разнообразие фактора. Необходимо соблюдать единообразие процедуры обследования.
При определении стабильности признака большое значение имеет промежуток времени между 1 и 2 обследованиями. Чем короче этот промежуток, тем больше шансов, что этот признак сохраняет уровень первого испытания. Целесообразно проводить повторное тестирование через короткий срок после тестирования. Экспериментатор сам устанавливает этот срок, но чаще в психологической литературе указывают на интервал от нескольких месяцев (но не более полугода). Вопрос о стабильности измеряемого свойства решается не всегда единообразно. Решение зависит от сущности диагностируемого признака.
Если измеряемое свойство уже сформировано, то коэффициент должен быть не ниже 0,80.
Определение константности, т.е. относительная независимость результатов от Личности экспериментатора. Так как методика разрабатывается для дальнейшего использования ее другими психодиагностами, необходимо определить в какой мере ее результаты поддаются влиянию личности экспериментатора. Коэффициент константности определяется путем корреляции результатов двух опытов, проводимых на одной и той же выборке, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже 0,80.
Вопрос о валидности решается после того, как установлена надежность, так как ненадежная методика не может быть валидной.
Валидность теста – понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает (А. Анастази). Валидность по своей сути – это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова её действенность, эффективность, практическая полезность.
По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.
Валидность – соответствие конкретного исследования принятым стандартам (безупречному эксперименту).
Валидность в первом ее понимании имеет отношение к самой методике, т.е. это валидность измерительного инструмента. Такая про-верка называется теоретической валидизацией. Валидность во втором ее понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.
При теоретической валидизации исследователя интересует само свойство, измеряемое методикой.
Так как для определения теоретической валидизации тяжело найти какой-нибудь независимый критерий, лежащий вне методики, и поэтому раньше принимались на веру голословные утверждения о валидности этой методики. Так как теоретическая валидизация направлена на доказательство того, что методика измеряет именно свойство, которое она должна измерить. Для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, по средствам которой эти психологические явления пытаются познать. Она показывает, что замысел автора и результаты методики совпадают.
Не столь сложно осуществить теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с известной, доказанной валидностью. Наличие корреляции между новой и аналогичной старой методиками указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная.
Для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность), а с другой – отсутствие этой связи с методиками, имеющими другое теоретической основание (дискриминантная валидность).
Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами Деятельности. Важно чтобы методика была проработана в теоретическом плане.
Проверяется практическая эффективность, значимость, полезность методики, так как методикой можно пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных видах Деятельности.
Для проверки прагматической валидности используется независимый внешний критерий – показатель проявления изучаемого свойства в повседневной жизни. В качестве такого критерия могут выступать успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), производственные достижения (для методик профессиональной направленности), эффективность реальной Деятельности – рисования, моделирования и так далее (для тестов специальных способностей), субъективные оценки (для тестов Личности).
Американские исследователи Тиффин и Маккормик выделили 4-е типа внешнего критерия:
Внешний критерий должен обладать 3 основными требованиями:
Оценка валидности методики может носить количественный и качественный характер.
Для вычисления количественного показателя (коэффициента валидности) сопоставляются результаты, полученные при применении диагностических методик, с данными тех же лиц, полученные по внешнему критерию. Используются разные виды линейной корреляции (по Спирмену, по Пирсену).
Качественное описание сущности измеряемого свойства. Здесь не используют статистическую обработку.
Существуют несколько видов валидности, обусловленных особенностями диагностической методики, а также временным статусом внешнего критерия:
ВАЛИДНОСТЬ ТЕСТА
Высокая надежность теста это необходимое, но недостаточное условие получения высококачественного теста. Тест еще должен быть валидным. Валидность – это важнейшая характеристика теста, без указания которой, его нельзя считать измерительным инструментом.
Анализируя сложную ситуацию с валидностью педагогических тестов, Е.Михайлычев 16 отмечает, что педагогу, заинтересовавшемуся валидностью, трудно будет разобраться в том, что же это такое.
Ниже мы приведем несколько определений валидности теста.
Приведенные определения в целом перекликаются и являются практически равноценными. Мы несколько уточним определение, сделав акцент на цель тестирования. Тестирование как измерительная процедура, дает информацию, на основе которой в дальнейшем должно быть принято то или иное управленческое решение. Обоснованность этих решений, зачастую сильно влияющих на судьбу испытуемых, определяется надежностью и валидностью теста.
ВАЛИДНОСТЬ – это характеристика теста, отражающая его способность получать результаты, соответствующие поставленной цели и обосновывающая адекватность принимаемых решений.
После создания теста начинается процесс его валидизации. Приведем определение:
По нашему мнению ВАЛИДИЗАЦИЯ – это не столько сбор доказательств валидности теста, сколько процесс выполнения действий, повышающих его валидность. Вследствие этого будет расти и доказательная база валидности теста.
Рис.3.9.1. Виды валидности.
КОНСТРУКТНАЯ ВАЛИДНОСТЬ (концептуальная валидность) определяется в случаях, когда представление об измеряемом свойстве существует в форме абстрактного образа, модели. Для объяснения определенных качеств личности создается концептуальная модель, которая с помощью тестов подтверждается или опровергается.
КРИТЕРИАЛЬНАЯ ВАЛИДНОСТЬ (эмпирическая валидность) предполагает наличие внешнего критерия, корреляция с которым определяет валидность теста.
Имеется два вида критериальной валидности – текущая и прогностическая.
Текущая критериальная валидность (concurrent validity) характеризует способность теста измерять некоторые качества личности. Валидность теста подтверждается корреляцией с некоторым внешним критерием, существующим в данное время. Допустим, тест показал для некоторого испытуемого отличные знания по предмету, а школьные отметки, выставленные учителем – неудовлетворительные. Если мы в качестве внешнего, независимого и достоверного критерия выберем школьные отметки, то критериальная валидность теста – низкая, даже если он имеет высокую надежность.
Прогностическая критериальная валидность (predictive validity) характеризует способность теста предсказывать будущие качества, формирующихся в результате воздействия внешних обстоятельств или целенаправленной собственной деятельности. Этот тип валидности характеризует корреляцию результатов тестирования с внешним критерием, который появится в будущем.
СОДЕРЖАТЕЛЬНАЯ ВАЛИДНОСТЬ (content validity) характеризует тест по степени его соответствия предметной области.
Содержательная валидность необязятельно означает полноту отображения изучаемой дисциплины. Например, для нормативно-ориентированного теста, полнота охвата всех тем может быть меньше, чем для критериально-ориентированного. Здесь важнее глубина проработки отдельных подтем, вопросов. Это позволит с большей эффективность дифференцировать обучаемых. Под содержанием понимается не только совокупность фактов, понятий, терминов, но и умение применять имеющиеся знания, оценивать информацию, выполнять действия, соответствующие верхним уровням таксономии Блума.
Для обеспечения содержательной валидности необходим детальный анализ учебных программ, на основании чего составляетсяспецификация теста. Спецификация содержит перечень учебных тем, их важность, количество и тип тестовых заданий. Оценка содержательной валидности выполняется экспертом в данной предметной области.
Согласно П.Клайну содержательная валидность определяется следующим образом:
1) указать категорию лиц, для которой предназначен тест;
2) составить список знаний, умений, навыков, подлежащих тестированию;
3) выполнить внешнюю экспертизу полученного списка на предмет его полноты и обоснованности;
4) на основе списка составить перечень заданий;
5) выполнить внешнюю экспертизу полученных заданий;
6) после проверки преобразовать их в задания в тестовой форме. В дальнейшем, на этой основе создать тестовые задания, образующие тест, который будет содержательно валидным.
Проблема валидизации педагогического теста является, видимо, самой сложной в процедуре создания высококачественного измерительного инструмента.
| высокий критерий | низкий критерий | |
| высокий результат теста | a | b |
| низкий результат теста | c | d |
Содержательная валидность определяется через подтверждение того, что задания теста отражают все аспекты изучаемой области поведения. Обычно она определяется у тестов достижений (смысл измеряемого параметра полностью ясен), которые как еже указывалось, тестами, собственно психологическими не являются. На практике для определения содержательной валидности подбираются эксперты, которые указывают, какая область поведения наиболее важна, например, для музыкальных способностей, а затем, исходя из этого, генерируются задания теста, которые вновь оценивают эксперты. Конструктная валидность теста демонстрируется полным, насколько это возможно, описанием переменной, для измерения которой предназначается тест. По сути дела, конструктная валидность включает в себя все подходы к определению валидности, которые были перечислены выше. Кронбах и Мил, которые ввели в психодиагностику понятие конструктной валидности, пытались решить проблему отбора критериев при валидизации теста. Они подчёркивали, что во многих случаях ни один отдельно взятый критерий не может служить для валидизации отдельного теста. Можно считать, что решение вопроса о конструктной валидности теста представляет собой поиск ответа на два вопроса:1) существует ли реально некоторое свойство; 2) надёжно ли измеряет данный тест индивидуальные различия по этому свойству. Вполне понятно, что с конструктной валидностью связана проблема объективности в интерпретации результатов по изучению конструктной валидности, однако эта проблема общепсихологическая и выходит за рамки валидности.
1) от определения понятия интеллекта, являющего ту или иную концепцию этого феномена;
2) от состава тестовых заданий, разрабатываемых согласно этой концепции;
3) от эмпирических критериев.
Разные концепции требуют различного состава заданий, поэтому важен вопрос валидности концептуальной. Чем больше задания соответствуют данной авторской концепции интеллекта, тем уверенней можно говорить о концептуальной валидности теста. Корреляция теста в эмперическим критерием указывает на его возможную валидность по отношению к данному критерию. Определение валидности теста всегда требует постановки дополнительных вопросов: валидность для чего? Для какой цели? По какому критерию?