Понятие указывающее нам что тест измеряет это
Понятие указывающее нам что тест измеряет это
136. Повышение интереса к проблемам диагностики в нашей стране связано с появлением новой профессии
• практический психолог
138. Последовательное деление целого на две части, затем каждой части снова на две и т.д. — это:
• дихотомия
139. Постоянство измерений теста показывает:
• надежность
140. Правильная постановка задач работы с детьми, выбор содержания и методов воздействия на них, затраченное время и силы педагогов, время и активность учащихся в процессе воспитательного акта, изменения воспитанности детей и педагогического мастерства их воспитателей, связь воспитательных мер с общей системой обучения и воспитания в школе — это __________________ показатели педагогической деятельности.
• качественные
141. Предметом педагогической деятельности является:
• формирующаяся личность
142. При аттестации образовательного учреждения его специфика
• учитывается
143. При проверке знаний учащихся учителями используется подход
• нормативно-ориентированный
144. Признак, на основании которого производится оценка, определение или классификация чего-либо, называется:
• критерием
145. Признание тождественности, отождествление объектов, их опознание — это:
• идентификация
146. Присутствие наблюдателя в образовательном учреждении при аттестации направлено на:
• охрану прав учащихся в ходе аттестационного обследования
147. Процедура выявления состояния или качества продукта или процесса, состоящая из операций выявления требуемого качества, измерения его величины и присвоения некоторой оценки, называется:
• диагностикой
149. Процесс сравнения достигнутого учащимися уровня владения знаниями с эталонными представлениями, описанными в программе, — это:
• оценка
150. Процесс, в ходе которого вся информация, полученная в результате диагностического исследования, сводится в единое целое, получил название:
• интерпретации
Понятие указывающее нам что тест измеряет это
Факультет психологии запись закреплена
ХАРАКТЕРИСТИКИ ТЕСТА, ЧАСТЬ 3: ВАЛИДНОСТЬ. ФОРМЫ ВАЛИДНОСТИ ТЕСТА
Валидность — комплексная характеристика теста, включающая сведения об области исследуемых явлений и репрезентативности используемой в отношении нее диагностической процедуры [Бурлачук-Морозов]. Другими словами, тест называется валидным, если он измеряет то, для измерения чего он предназначен [Клайн]. А. Анастази пишет, что валидность теста это понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает.
В понятие валидности входит большое количество информации о тесте. Различные категории такой информации и способы ее получения образуют типы валидности:
Очевидная (внешняя, лицевая) валидность — сведения о тесте, сфере его применения, результативности и прогностической ценности, возникающие у испытуемого или другого лица, не обладающего специальными знаниями об истинной валидности. Очевидная валидность обычно демонстрируется через название и инструкцию к тесту, и помогает наладить сотрудничество с исследуемыми.
Основными видами настоящей валидности являются:
— содержательная,
— конструктная и
— критериальная валидности.
После генерирования необходимого количества задач, они подвергаются экспертной оценке. Существует два способа экспертной оценки:
— коллективная и
— средневзвешенная — может организовываться через усреднение рейтингов, шкалирований или парных сравнений.
Таким образом, содержательная валидность формируется одной из первых видов валидности и проверять ее можно сразу.
Конструктная валидность (идентификация конструкта).
При разработке теста формулируется ряд гипотез о том, как будет связан исследуемый тест с другими тестами, измеряющими подобные, противоположно направленные или независимые психологические явления. Эти гипотезы выдвигаются на основании теоретических представлений об измеряемых свойствах, как о психологических конструктах. Подтверждение гипотез свидетельствует о теоретической обоснованности методики, т.е. о степени ее конструктной валидности. Этот тип валидности является наиболее сложным и комплексным.
Так же с конструктом теста. Его подвергают:
— корреляции с другими уже валидизированными тестами, которые измеряют подобные явления и должны коррелировать с этим новым тестом (конвергентная валидность);
— его подвергают корреляции с другими уже валидизированными тестами, которые измеряют несвязанные, совсем другие явления и не должны коррелировать с этим новым конструктом (дивергентная валидность).
Также выдвигаются и проверяются гипотезы о наличии или отсутствии половых различий в группах мужчин и женщин по данному тесту; выдвигаются и проверяются гипотезы о наличии или отсутствии по этому тесту возрастных различий в группах молодых, средних и старших по возрасту людей; предлагаются способы психофизиологической и экспериментальной проверки валидности теста.
Проверяется исходная валидность путем статистической корреляции баллов по тесту и показателей по внешнему параметру, выбранному в качестве критерия валидизации.
Валидизация по любому критерию эффективно осуществляется методом контрастных групп (умственно отсталых и с нсохранным интеллектом, страдающих и не страдающих психическими заболеваниями, асоциальных-просоциальных и т.п.).
В качестве объективных критериев валидизации часто используют:
— Объективные социально-демографические и биографические данные (стаж, образование, профессия, приемы или увольнение с работы, количество браков и разводов и т.п.);
— Показатели успеваемости, которые зачастую являются критериальной мерой тестов способностей, достижений в отдельных дисциплинах, тестов интеллекта;
— Производственные показатели эффективности выполнения определенных видов профессиональной деятельности, которые имеют наибольшее значение при валидизации методик, используемых в профотборе и профориентации;
— Результаты реальной деятельности (рисование, моделирование, музыка, составление рассказа и т.д.) при испытании тестов общих и специальных способностей, креативности, тестов личности;
— Врачебный диагноз или другие выводы специалиста;
— Контрольные испытания знаний и умений;
— Данные других методик и тестов, валидность которых считается установленной.
Перекрестная валидизация (кросс-валидизация).
Важно, чтобы валидность теста проверялась на выборке испытуемых, отличной от той, с помощью которой осуществлялся анализ и отбор задач. Любой коэффициент валидности, найденный на выборке, которая применялась для отбора задач, окажется завышенным, так как случайные особенности этой выборки будут учитываться как настоящие свойства популяции.
Чем меньше будут выборки испытуемых при анализе задач, меньшее количество задач оставлено после анализа, а также задачи отбираются чисто эмпирически, без теоретического обоснования, тем больше вероятность того, что они будут иметь после кросс-валидизации неудовлетворительную валидность.
Общее понятие о валидности теста. Виды валидности.
Валидность теста
Внешняя и внутренняя валидность
– Перекрестнаявалидизация данных на разных выборках испытуемых.
отношении достижения определенной практической цели: прогнозирования, диагностики.
• Выделяют много разных видов валидности.
– Классификация в достаточной мере условна, поскольку одни методы и данные могут использоваться для доказательства различных типов валидности.
Виды валидности
• Концептуальная (теоретическое обоснование возможности измерения исследуемого свойства с помощью данного психодиагностического средства или метода).
• Содержательная (характеризуется степенью представленности в заданиях методики содержания измеряемой области психических функций).
– Тест должен охватывать всю область изучаемого поведения.
• Конструктная (определяется тем насколько результаты теста могут быть рассмотрены в качестве меры исследуемого психологического конструкта (фактора или свойства).
• Операционная– отражает (в модельном плане) степень представленности реальных операционных условий психической деятельности в конкретных экспериментальных операциях, выполняемых испытуемыми в заданиях психодиагностической методики.
• Эмпирическая– совокупность сравнительных характеристик теста, полученная статистическими способами оценивания.
27.Общее понятие о достоверности тестовых данных.
Речь идет о сознательных или бессознательных искажениях, которые вносит в тестовые результаты сам испытуемый, руководствуясь в ходе теста особой мотивацией, отличающейся от той, которая присуща ему в реальном поведении. Способность теста защищать информацию от МОТИВАЦИОННЫХ ИСКАЖЕНИЙ и есть достоверность теста. Особенно, остро проблема достоверности стоит в случае тест-опросников, которые допускают больше свободы в выборе испытуемым любого варианта ответа.
Типичный прием обеспечения достоверности — наличие в тест-опросниках ШКАЛ ЛЖИ. Эти шкалы основываются главным образом на феномене СОЦИАЛЬНОЙ ЖЕЛАТЕЛЬНОСТИ — стремлении испытуемых давать в ходе тестирования социально одобряемую информацию. Если испытуемый набрал по шкале лжи балл выше критического, то его протокол объявляется недостоверным и ему предлагается либо выполнить данный тест еще раз более откровенно, либо выполнить другой тест. Многие более специфичные ловушки, направленные на измерение достоверности, часто входят как компонент в структуру конкретного теста, а иногда даже не подлежат разглашению как элемент ноу-хау (информационного изобретения) и профессиональной тайны, разделяемой разработчиками только с лицензированными пользователями методики, подписавшими особое лицензионное соглашение при приобретении теста.
Достоверность тестирования тесно связана со степенью доверительности общения, которую смог психолог установить с данным испытуемым. Здесь полезно различать две диагностические ситуации: консультативную (СИТУАЦИЯ КЛИЕНТА) и аттестационную (СИТУАЦИЯ ЭКСПЕРТИЗЫ). В первом случае испытуемый участвует в тестировании на добровольной основе и сам заинтересован получить рекомендации по результатам тестирования (как, например, в профориентационной консультации). Во втором случае тестирование проводится по инициативе педагога или администрации, психолога, родителей, т. е. других лиц, и эти другие больше заинтересованы в результатах, чем сам испытуемый.
Понятно, что в аттестационной ситуации вопрос о достоверности особенно актуален. И опросники, не снабженные шкалами лжи, использовать в таких ситуациях бесполезно. Наоборот, в ситуации клиента могут быть использованы такие методики, на которые испытуемый заведомо будет отвечать некорректно в ситуации экспертизы.
Организация стока поверхностных вод: Наибольшее количество влаги на земном шаре испаряется с поверхности морей и океанов (88‰).
Мир психологии
психология для всех и каждого
Надёжность и валидность психодиагностических методик
Надёжность и валидность психодиагностических методик
Прежде чем психодиагностические методики могут быть использованы для практических целей, они должны пройти проверку по ряду формальных критериев, доказывающих их высокое качество и эффективность. К числу основных критериев оценки психодиагностических методик относятся надежность и валидность.
Большой вклад в разработку этих понятий внесли зарубежные психологи (А. Анастази, Е. Гизелли, Дж. Гилфорд, Л. Кронбах, Р. Торндайк, Е. Хаген и др.). Ими были разработаны формально-логический и математико-статистический аппарат (прежде всего корреляционный метод и фактический анализ) обоснования степени соответствия методик отмеченным критериям.
В традиционной тестологии термин «надёжность» означает относительное постоянство, устойчивость, согласованность результатов теста при первичном и повторном его применении на одних и тех же испытуемых.
Надёжность методики – это критерий, который говорит о точности психологических измерений, то есть позволяет судить о том, насколько внушают доверие полученные результаты.
Это согласованность результатов тестирования испытуемых в разные моменты времени, при первичном и вторичном тестировании и с использованием разных по эквивалентности, по содержанию заданий. Надежность характеризует тесты свойств, но не состояний. Свойства:
Степень надёжности методик зависит от многих причин. Среди негативных факторов наиболее часто называются следующие:
Одним из важнейших средств повышения надежности методики является единообразие процедуры обследования, его строгая регламентация: одинаковая обстановка, однотипный характер инструкций, одинаковые для всех временные ограничения, способы и особенности контакта с испытуемыми и так далее.
На характеристику надёжности методик большое влияние оказывает исследуемая выборка. Она может, как снижать, так и завышать этот показатель, например, надежность, может быть искусственно завышена, если в выборке небольшой разброс результатов, т.е. если результаты по своим значениям близки друг к другу. Поэтому в руководстве обычно делается описание выборки, на котором определялась надёжность методики.
В настоящее время надежность все чаще определяется на наиболее однородных выборках, т.е. на выборках, схожих по полу, возрасту, уровню образования, профессиональной подготовке и т.п.
К.М. Гуревич предложил толковать надёжность как:
Определение надежности измерительного инструмента. От того как составлена методика, насколько правильно подобраны задания, насколько она однородна зависит точность, объективность измерения.
Для проверки надежности измерительного инструмента, говорящего о его однородности (гомогенности) используют метод расщепления. Задания делят на четные и нечетные (необходимо выполнение всех заданий), а затем результаты коррелируются между собой. Если методика однородна, то большой разницы в успешности по этим половинам не будет, коэффициент будет высоким. Можно сравнивать по частям, но лучше по четным и нечетным, т.к. этот способ не зависит от тренировки, утомления и т.д.
Методика надежна, если коэффициент не ниже 0,75 – 0,85, лучше 0,90 и выше.
Определение стабильности изучаемого признака. Также необходимо установить насколько устойчив, стабилен признак, который исследователь намерен измерять. Признак со временем может меняться, но колебания его не должны иметь непредсказуемый характер.
Для проверки используется прием, который называется тест-ретест. Он заключается в повторном обследовании испытуемых с помощью этой же методики. О стабильности судят по коэффициенту корреляции между результатами первого и второго обследования. Он будет свидетельствовать о сохранении или не сохранении каждым испытуемым своего порядкового номера в выборке.
На степень устойчивости влияет разнообразие фактора. Необходимо соблюдать единообразие процедуры обследования.
При определении стабильности признака большое значение имеет промежуток времени между 1 и 2 обследованиями. Чем короче этот промежуток, тем больше шансов, что этот признак сохраняет уровень первого испытания. Целесообразно проводить повторное тестирование через короткий срок после тестирования. Экспериментатор сам устанавливает этот срок, но чаще в психологической литературе указывают на интервал от нескольких месяцев (но не более полугода). Вопрос о стабильности измеряемого свойства решается не всегда единообразно. Решение зависит от сущности диагностируемого признака.
Если измеряемое свойство уже сформировано, то коэффициент должен быть не ниже 0,80.
Определение константности, т.е. относительная независимость результатов от Личности экспериментатора. Так как методика разрабатывается для дальнейшего использования ее другими психодиагностами, необходимо определить в какой мере ее результаты поддаются влиянию личности экспериментатора. Коэффициент константности определяется путем корреляции результатов двух опытов, проводимых на одной и той же выборке, но разными экспериментаторами. Коэффициент корреляции не должен быть ниже 0,80.
Вопрос о валидности решается после того, как установлена надежность, так как ненадежная методика не может быть валидной.
Валидность теста – понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает (А. Анастази). Валидность по своей сути – это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова её действенность, эффективность, практическая полезность.
По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.
Валидность – соответствие конкретного исследования принятым стандартам (безупречному эксперименту).
Валидность в первом ее понимании имеет отношение к самой методике, т.е. это валидность измерительного инструмента. Такая про-верка называется теоретической валидизацией. Валидность во втором ее понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.
При теоретической валидизации исследователя интересует само свойство, измеряемое методикой.
Так как для определения теоретической валидизации тяжело найти какой-нибудь независимый критерий, лежащий вне методики, и поэтому раньше принимались на веру голословные утверждения о валидности этой методики. Так как теоретическая валидизация направлена на доказательство того, что методика измеряет именно свойство, которое она должна измерить. Для теоретической валидизации кардинальной проблемой является отношение между психологическими явлениями и их показателями, по средствам которой эти психологические явления пытаются познать. Она показывает, что замысел автора и результаты методики совпадают.
Не столь сложно осуществить теоретическую валидизацию новой методики, если для измерения данного свойства уже имеется методика с известной, доказанной валидностью. Наличие корреляции между новой и аналогичной старой методиками указывает на то, что разработанная методика измеряет то же психологическое качество, что и эталонная.
Для проверки теоретической валидности важно, с одной стороны, установить степень связи с родственной методикой (конвергентная валидность), а с другой – отсутствие этой связи с методиками, имеющими другое теоретической основание (дискриминантная валидность).
Важную роль для понимания того, что методика измеряет, играет сопоставление ее показателей с практическими формами Деятельности. Важно чтобы методика была проработана в теоретическом плане.
Проверяется практическая эффективность, значимость, полезность методики, так как методикой можно пользоваться только тогда, когда доказано, что измеряемое свойство проявляется в определенных видах Деятельности.
Для проверки прагматической валидности используется независимый внешний критерий – показатель проявления изучаемого свойства в повседневной жизни. В качестве такого критерия могут выступать успеваемость (для тестов способностей к обучению, тестов достижений, тестов интеллекта), производственные достижения (для методик профессиональной направленности), эффективность реальной Деятельности – рисования, моделирования и так далее (для тестов специальных способностей), субъективные оценки (для тестов Личности).
Американские исследователи Тиффин и Маккормик выделили 4-е типа внешнего критерия:
Внешний критерий должен обладать 3 основными требованиями:
Оценка валидности методики может носить количественный и качественный характер.
Для вычисления количественного показателя (коэффициента валидности) сопоставляются результаты, полученные при применении диагностических методик, с данными тех же лиц, полученные по внешнему критерию. Используются разные виды линейной корреляции (по Спирмену, по Пирсену).
Качественное описание сущности измеряемого свойства. Здесь не используют статистическую обработку.
Существуют несколько видов валидности, обусловленных особенностями диагностической методики, а также временным статусом внешнего критерия:
Понятие указывающее нам что тест измеряет это
Другим после надежности ключевым критерием оценки качества методик является валидность. Вопрос о валидности методик решается лишь после того, как установлена достаточная ее надежность, поскольку ненадежная методика без знания ее валидности является практически бесполезной.
Следует заметить, что вопрос о валидности до последнего времени представляется одним из самых сложных. Наиболее укоренившимся определением этого понятия является то, которое приведено в книге А. Анастази: «Валидность теста — понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает» (1982. С. 126). Валидность по своей сути — это комплексная характеристика, включающая, с одной стороны, сведения о том, пригодна ли методика для измерения того, для чего она была создана, а с другой стороны, какова ее действенность, эффективность. По этой причине не существует какого-то единого универсального подхода к определению валидности. В зависимости от того, какую сторону валидности хочет рассмотреть исследователь, используются и разные способы доказательства. Другими словами, понятие валидности включает в себя разные ее виды, имеющие свой особый смысл. Проверка валидности методики называется валидизацией.
Валидность в первом ее понимании имеет отношение к самой методике, т.е. это валидность измерительного инструмента. Такая проверка называется теоретической валидизацией. Валидность во втором понимании уже относится не столько к методике, сколько к цели ее использования. Это прагматическая валидизация.
Итак, при теоретической валидизации исследователя интересует само свойство, измеряемое методикой. Это, по существу, означает, что проводится собственно психологическая валидизация. При прагматической валидизации суть предмета измерения (психологического свойства) оказывается вне поля зрения. Главный акцент сделан на то, чтобы доказать, что «нечто», измеряемое методикой, имеет связь с определенными областями практики.
Провести теоретическую валидизацию, в отличие от прагматической, порой оказывается значительно труднее. Не вдаваясь пока в конкретные детали, остановимся в общих чертах на том, как проверяетсяпрагматическая валидность: выбирается какой-нибудь независимый от методики внешний критерий, определяющий успех в той или иной деятельности (учебной, профессиональной и т.п.), и с ним сравниваются результаты диагностической методики. Если связь между ними признается удовлетворительной, то делается вывод о практической эффективности, действенности диагностической методики.