5. Показатели тяжести заданий теста - Средства контроля диагностических качеств

Это окончание невероятной информации про средства контроля диагностических качеств психологических тестов.

...

сказывается Д. Итак,

Поскольку N max = N min = 0,10: 0,33, уравнение приобретает вид

В конце концов, можно использовать чотириклитковий коэффициент корреляции

где f g - доля лиц, правильно решили задачу, в общем количестве испытуемых, принадлежащих к группе с максимальным результатом; f d - доля лиц, правильно решили задачу в группе минимальных результатов; р - общая доля (f g + f d) лиц, правильно решили задачу; q - доля лиц, давших неправильный решение (1-р).

Критические значения коэффициента, свидетельствуют о диагностическую ценность пункта на уровне достоверности р <0.05 в зависимости от количества обследованных (n):

Максимальная точность определения r phi достигается при объеме контрастных групп около 27% от выборки в каждой.

При анализе дискриминативности особое внимание следует уделять статистической весе коэффициентов корреляции, их достоверности. В случаях, когда значения коэффициента дискриминативности приближается к нулю и уровень достоверности небольшой, пункт теста проверяется, должен быть пересмотрен. Важность определения дискриминативности заданий теста - одного из главных показателей, характеризующих диагностическую стоимость опросников личности, объясняется ориентированностью большого количества факторных опросников и анкет на дихотомический распределение испытуемых по полярными характеристиками личности. Значение индекса дискриминативности для опросников усиливается возможностью дифференцированного подсчета конечного результата (см. Предыдущий раздел). Анализ дискриминативности задач широко применяется в случаях разработки и контроля объективных тестов, тестов общих и специальных способностей и тому подобное.Большое значение этот показатель имеет и для тестов достижений. Решающим этапом процедуры создания и контроля методик, имеющих скрининговый характер, также отбор наиболее дискриминативних пунктов. Напротив, анализ дискриминативности в проективных тестах, хотя и является принципиально важным, но отступает на второй план из-за трудностей, связанных с количественной квалификации показателей проективных тестов, иногда невозможностью проведения корреляционного анализа, характеристикой дискриминативности в качественной форме.

Расчеты индексов дискриминативности достаточно трудоемки, особенно тогда, когда тест состоит из большого количества задач, но такие процедуры могут стать проще при наличии специальных программ для обработки эмпирической информации на ПЭВМ.

5. Показатели тяжести заданий теста

Тяжесть заданий теста - это такая характеристика пункта, что отражает ее статистический уровень возможности решения. Вместе с анализом дискриминативности и внутренней согласованности этот комплекс показателей занимает ведущее место в процедуре комплектации теста адекватными целям измерения задачами.

В психологии выделяют субъективно-психологическую и статистическую (объективную) тяжесть. Субъективная тяжесть задачи связана с индивидуально-психологическим барьером, размеры которого опосредованные условиями решения (лимитом времени, понятностью инструкции, степени нетривиальности решения и т.п.), уровнем формирования необходимых для решения задачи знаний, умений и навыков, психическим состоянием испытуемого, а также некоторыми другими факторами. Индивидуальный влияние комплекса этих факторов на результаты выполнения теста снижает надежность и подлинность данных. Учитывая это принимают меры, направленные на нивелирование факторов субъективной тяжести, что достигается с помощью специальной комплектации выборки и стандартизации процедуры исследования.

Одним из показателей статистической тяжести является процент лиц выборки, которые решили или не решили задачи. Например, если только 20% испытуемых нашли правильное решение, то такая задача можно характеризовать как слишком тяжелое для конкретной выборки, а если с задачами успешно справились 80% испытуемых, такая задача, соответственно, считается легким. Тяжесть заданий теста является относительной характеристикой, поскольку она зависит от особенностей выборки (возрастные, профессиональные, социокультурные особенности). Тяжесть есть прежде всего характеристикой интеллектуальных задач, для которых может существовать критерий «правильного» или «неправильного» развязку. Для вопросов или ситуативных задач (то есть задач, моделирующих какую-то ситуацию), которые входят в состав методик исследования личности, статистическое понятие тяжести непригоден.

Для успешной реализации психодиагностической методики большое значение имеет этап комплектации задач по показателям тяжести реализации. Так, при наличии слишком сложных задач надежность и валидность методики резко снижаться. Это произойдет из-за ухудшения статистических характеристик оценки вследствие небольшого количества полученных решений, рост числа случайных оценок за попытки испытуемых угадать правильный ответ. Переживания постоянных неудач при работе с тестом негативно влияют на подопытного, а это, в свою очередь, снижает очевидную валидность не только определенного теста, а я последующих исследований. Неудачи работы с заданиями теста могут вызвать и такую ​​эмоциональную реакцию подопытного как отказ от дальнейшего сотрудничества. Слишком простые задачи приведут к одинаковым результатам, то есть большинство испытуемых быстро справится со всем набором задач, и с этого момента тест потеряет способность к ранжированию результатов. К тому же в этом случае будет наблюдаться незначительная вариативность показателей, негативное влияние на субъективное отношение к тесту.

Главная задача анализа тяжести заданий теста - подбор оптимальных по сложности пунктов теста, а также размещение их в определенном порядке. Конечно, если статистическая тяжесть незначительная, такое легкое задание размещают в начале теста, и наоборот, сложные задачи располагают в конце методики. Одно-два простейшие задачи ставят перед основным комплектом и используют в качестве примеров. Диспозиция задач растущей тяжестью, которая представлена ​​частицами лиц из выборки, которые выполняют задачи успешно, позволяет ориентировочно определить порог (ступень) тяжести каждого конкретного испытуемого. Этот пороговый ступень уже может означать ранговое место испытуемого в группе по успеваемости выполнения теста. Подобный принцип положен в основу измерения в первых тестах умственных способностей (например, шкалы Бине-Симона), где показателю «умственного возраста» было выполнение задачи средней тяжести для данной возрастной группы. Принцип размещения задач растущей тяжестью остался и в большинстве современных психометрических тестов, ориентированных на исследование общих способностей, профессиональной успешности, в тестах достижений и некоторых других.

В тестах скорости в отличие от тестов результативности (power tests) тяжесть отдельных задач, конечно, мала и практически неизменной. Количество таких задач берут такой, чтобы ни один испытуемый с выборки не уложился в отведенный срок.

Основным показателем тяжести заданий теста является индекс тяжести.

где U t - количество испытуемых, не решили задачи; N 0 - количество испытуемых, правильно решили задачу; N - общее количество испытуемых.

При учете случайного успеха угадать для задач с «навязанной» ответом

где N н - количество испытуемых, не решили задачу; m - число вариантов ответа.

В тех случаях, когда выборка количество пунктов проверяемых многочисленные, индекс тяжести можно определить с помощью контрастных подгрупп. В каждую из таких подгруппу входят 27% лиц от общей численности выборки лиц, имеющих лучшие и худшие результаты по тесту в целом. Индекс тяжести определяют как среднее арифметическое значение индексов для групп с максимальными и минимальными результатами:

Если представить, что частоты распределения оценок испытуемых, решают задачи, подчиняются нормальному закону, то в пределах M ± σ находится около 68% всех испытуемых, за этими пределами - по 16% человек. Указанные частоты принимаются по пороговые при отборе задач по первичной разработки теста. Таким образом, после определения индексов тяжести в первую очередь отбрасываются задачи, которые решили более 84% (больше, чем M-σ) испытуемых, а также такие, которые не смогли выполнить 84% членов выборки (М + σ) (рис 2 ).

Рис. 2. Пороговые частоты случаев решения задач теста при отборе по индексу тяжести

Более дифференцированным анализом тяжести задач раздел подопытных на группы по внешним критерием валидности, Hanpиклад, по производительности в реальной деятельности. Всех подопытных распределяют по принципу успешности в критериальной деятельности - на подгруппы. По каждой из них анализируется успешность решения конкретных задач. На рис. 3 в виде ломаных линий приведены зависимости между успешностью решения задач и оценками по критерию валидизации для четырех гипотетических пунктов теста.

Рис. 3. Изменения успешности решения задач в группах с различной производительностью

Задача № 1 практически не дифференцирует испытуемых. Доли лиц, его решили, очень мало отличаются в подгруппах, имеющих различную производительность (на рис. 3 приведены данные 50 подгрупп}). Постоянной закономерности изменений количества лиц, решили задачу, в зависимости от повышения показателей производительности не наблюдается.

Для задания № 2 такая зависимость находится в диапазоне 0-5 баллов. Задача № 2 слишком легким и может использоваться в тесте, если оно попадает в 84% -й интервал.

Задача № 3 является достаточно тяжелым. Оно хорошо дифференцирует испытуемых, имеющих высокие баллы, а если эту задачу выполняют более 16% испытуемых, его можно включить в тест.

Лучшим из всех является задача Ns 4. Его тяжесть близка к средней для данной выборки. Задача хорошо дифференцирует испытуемых по внешним критерием валидизации.

При отборе заданий теста может применяться не только индекс тяжести, но и показатель, выводится на его основе. Таким показателем может быть среднее квадратическое отклонение для качественных признаков. Оно вычисляется на основе частиц испытуемых, решили и не решили задачи. Такой показатель можно использовать в случаях биномиального распределения результатов решения задачи в выборке. Для больших по объему выборок

Удобнее показатель, исчисляемый в битах:

Зависимость между (100σ) 2 и U т имеет параболический характер (рис.4). Чем легче или сложнее окажется задача, тем хуже оно дифференцирует испытуемых. Лучшим в этом аспекте есть задачи, которые выполняют около 50% членов выборки. Задачи, попадают в заштрихованную зону и имеют значение (100σ) 2 * 16 * 84 = 1344, по параметру тяжести могут быть включены в теста. Они должны быть равномерно распределенными в материале теста в соответствии с индексами тяжести.

Отбор задач по показателю тяжести может осуществляться одновременно с расчетами других коэффициентов корреляции.

Рис. 4. Зависимость между индексом тяжести и способностью задача дифференцировать испытуемых

Представленные результаты и исследования подтверждают, что применение искусственного интеллекта в области средства контроля диагностических качеств психологических тестов имеет потенциал для революции в различных связанных с данной темой сферах. Надеюсь, что теперь ты понял что такое средства контроля диагностических качеств психологических тестов и для чего все это нужно, а если не понял, или есть замечания, то не стесняйся, пиши или спрашивай в комментариях, с удовольствием отвечу. Для того чтобы глубже понять настоятельно рекомендую изучить всю информацию из категории Математические методы в психологии

Продолжение:

Часть 1 Средства контроля диагностических качеств психологических тестов
Часть 2 1.3.3. Надежность частей теста - Средства контроля диагностических качеств психологических
Часть 3 2.2. эмпирическая валидность - Средства контроля диагностических качеств психологических тестов
Часть 4 2.3. коэффициенты валидности - Средства контроля диагностических качеств психологических тестов
Часть 5 5. Показатели тяжести заданий теста - Средства контроля диагностических качеств