У праці [1] розглянуто підходи до моделювання взаємодії двох агентів, які ґрунтуються на передумовах теорії соціальних систем Н. Лум - korshu.ru o_O
Главная
Поиск по ключевым словам:
Похожие работы
У праці [1] розглянуто підходи до моделювання взаємодії двох агентів, які ґрунтуються - страница №2/12


Методика, основанная на использовании эмпирической функции распределения результатов тестирования

В этом случае перевод первичных баллов в итоговые результаты тестирования выполняется по такой схеме.

1. Задаем функцию распределения итоговых результатов в виде таблицы значений ее α-квантилей:
,
где y – итоговые баллы, k – максимальная оценка. Примером реализации такого подхода, является табл. 1, построенная по данным [1].

Таблица 1

Пример задания функции распределения итоговых результатов

Итоговый балл (yk)

Лексико-оценочные эквиваленты

Zk



1

Низшая оценка

< – 2,25

0,01

2

Неудовлетворительно -

–2,25…–1,75

0,04

3

Малоудовлетворительно

–1,75…–1,25

0,11

4

Удовлетворительно

–1,25…–0,75

0,23

5

Ниже среднего

–0,75…–0,25

0,40

6

Средняя оценка

–0,25 … 0,25

0,60

7

Выше среднего

0,25 … 0,75

0,77

8

Хорошо

0,75 … 1,25

0,89

9

Очень хорошо

1,25 … 1,75

0,96

10

Отлично

1,75 … 2,25

0,99

11

Высшая

> 2,25

1

2. Проводим тестирование обучающей выборки объемом n и строим эмпирическую функцию распределения итоговых результатов , где x – первичные баллы тестирования. При этом объем обучающей выборки должен быть не менее 50 студентов.

3. Рассчитываем α-квантили функции : x1, x2, …, xk.

4. Строим шкалу соответствия:

5. Периодически (например, по результатам тестирования 2n, 5n, 10n испытуемых) возвращаемся к п.2 для корректировки эмпирической функции распределения и уточнения шкалы перевода.

Предложенная методика является достаточно общей и может быть использована при отсутствии специальных требований к процедуре и результатам тестирования. При этом следует отметить, что, благодаря использованию эмпирической функции распределения обучающей выборки, отпадает необходимость в использовании предположений о законе распределения исходных данных.

Рассмотренная методика не рассматривает вопрос о назначении первичных баллов за правильные ответы на отдельные вопросы. Как правило, эту задачу решают эксперты. Однако при необходимости автоматизации соответствующую процедуру также можно формализовать. В простейшем случае, когда задания считаются равноценными с точки зрения их значимости, но различаются по сложности, можно использовать такой подход.

1. Определяем доли тестируемых обучающей выборки (pj), справившихся с каждым из заданий. Они характеризуют степень сложности заданий. Чем меньше величина pj, тем более сложным для испытуемых является соответствующее задание.

2. Строим шкалу начисления первичных баллов. В зависимости от целей тестирования может быть использована равномерная или неравномерная шкала перевода. Пример равномерной пятибалльной шкалы:



;

;

;

;

.

Пример неравномерной пятибалльной шкалы:



;

;

;

;

.

Здесь – среднее арифметическое величин pj, – их стандартное отклонение.

Второй подход позволяет более точно выделить группы наиболее сильных и наиболее слабых тестируемых.
Методика, основанная на предварительном описании классов эквивалентности

Во многих случаях возможно предварительное разбиение обучающей выборки на некоторые классы эквивалентности, которые соответствуют тем или иным качественно различным группам испытуемых. Например, могут быть сформированы классы "хороших", "средних" и "плохих" студентов; классы школьников, склонных к различным видам деятельности и т.п. В частности, можно ожидать, что при тестировании по математике будут проявляться существенные различия между абитуриентами, которые являются "хорошими" с точки зрения дальнейшего обучения по разным направлениям подготовки (математика, физика, инженерные специальности, экономика). Это обусловлено как различием в используемом разными приложениями математическом аппарате, так и различиями психологических портретов "оптимальных" кандидатов. В таких ситуациях для перевода первичных баллов в итоговые результаты тестирования желательно использовать другие методики, которые позволили бы определить степень принадлежности испытуемых к заданным классам. Примером может служить методика, предлагаемая ниже.

1. Формируем обучающие выборки, соответствующие заданным классам эквивалентности. Объем каждой из таких выборок должен быть не менее 50 человек.

2. Проводим тестирование на обучающих выборках.

3. Определяем характеристические параметры классов эквивалентности, как средние арифметические и дисперсии оценок за отдельные задания теста для каждого класса.

4. Решаем задачу о принадлежности результатов испытуемого к каждому из классов эквивалентности на основе результатов сравнения результатов теста с характеристиками классов. В качестве меры сходства можно использовать коэффициент корреляции Пирсона. Однако при наличии нелинейной связи его применение может привести к ошибкам. Альтернативой является применение коэффициента детерминации или корреляционного отношения. Их вычисление более трудоемко, но они чувствительны к нелинейным связям между исследуемыми признаками. Для дихотомических оценок в качестве показателя связи можно использовать точечно-бисериальный коэффициент корреляции.

5. Периодически модифицируем обучающие выборки и уточняем параметры классов.
Выводы

В работе предложены методики автоматизированного перевода первичных результатов тестирования в итоговые оценки, основанные на применении обучающих выборок. Это позволяет повысит качество оценивания и учитывать различие целей тестирования при определении его результатов.


Литература

1. Аванесов В.С. Научные основы тестового контроля знаний / В.С. Аванесов. –М.: Исследовательский центр, 1994. – 135 с.

2. Бахрушин В.Е. Эмпирические функции распределения результатов тестирования / В.Е. Бахрушин, М.А. Игнахина, Р.Я. Шумада // Збірник праць III Міжнародної конференції "Нові інформаційні технології в освіті для всіх: система електронної освіти" / Ред. В. Гриценко. – К.: МННЦ ІТС, 2008. – С. 79 – 84.

3. Орлов А.И. Прикладная статистика / А.И. Орлов. – М.: Экзамен, 2006. – 671 с.

4. Лемуткина М. Единый государственный обман [Электронный ресурс] / М. Лемуткина. – Режим доступа http://www.gazeta.ru/education/2006/01/30_a_528596.shtml

PHASE PORTRAIT METHOD FOR LEARNING DIAGNOSTICS

Bortnovski Sergey, Laricov Eugene, Pustovalov Leonid

Krasnoyarsk State Pedagogical University

The opportunity to study the activity of complex learning system using the phase portrait method is analyzed. The result of analysis is the building of learners’ activity phase portraits based on system activity protocols. Diagnostics of the insufficiency specific learning phenomenon supported by phase portraits cyclic nature.
МЕТОД ФАЗОВЫХ ПОРТРЕТОВ ДЛЯ ДИАГНОСТИКИ ОБУЧАЕМОСТИ

Бортновский Сергей, Лариков Евгений, Пустовалов Леонид

Красноярский государственный педагогический университет имени В.П. Астафьева

Анализируется возможность изучать движение сложной обучающей системы, состоящая из двух участников – обучающей системы и обучаемого, при помощи метода фазовых портретов. Результат анализа – построение фазовых портретов деятельности обучаемого на основе протоколов записанных при работе обучаемого с компьютерной обучающей системой. Выявление по циклическому характеру фазового портрета явления недостаточности специфической обучаемости.
Метод фазового портрета эффективно используется в различных областях науки для изучения описания состояний динамических (ДС) систем, поскольку замкнутая кривая на фазовой плоскости является альтернативой аналитического интегрирования дифференциальных уравнений.

Важность и незаменимость метода особенно проявляется в тех случаях, когда дифференциальные уравнения невозможно проинтегрировать и получить решение, либо динамическая система настолько сложна и многомерна, что просто не возможно однозначно определить, учесть и записать аналитически дифференциальные уравнения системы. Вообще говоря, многие ДС имеют огромное количество факторов и параметров, влияющих на её поведение, которые просто аналитически не определяются.

Компьютерную систему обучения и обучаемого можно рассматривать, как динамическую систему (или обучаемую систему ОС). Это, безусловно, достаточно сложная динамическая система, для которой, невозможно указать число степеней свободы или координат, в пространстве которых определяется состояние системы. Однако возможность интегрировано описывать состояние ОС на основе целевой функции, несомненно, существует [4].

В кибернетическом подходе можно выделить три характерных типа поведения системы, три режима, в которых может находиться динамическая система: равновесный, переходный и периодический.

Равновесный режим ОС соответствует ситуации, когда ее состояние не изменяется во времени. В этом режиме у состояния не изменяется ни одна из ее «координат». В пространстве состояний системы ее равновесные состояния будут изображаться неподвижными точками.

При обучении какой-либо целенаправленной деятельности можно выделить равновесное состояние, которое отвечает состоянию полной обученности этому виду деятельности. Для обучаемых в идеале должно быть одно равновесное состояние полной обученности. В этом состоянии ученик решает проблемы или задачи в автономном режиме.

Однако бывают случаи, когда ОС имеют не одно равновесное состояние, а два и более. Это накладывает ограничения на достижение состояния полной обученности. Обучаемый в процессе движения по состояниям может попасть в промежуточное равновесное состояние, не отвечающее полной обученности. В этом случае он будет осуществлять деятельность с внешними ограничениями. Например, ему будет необходима дополнительная внешняя информация для осуществления деятельности.

Определение всех равновесных состояний обучаемой системы и их характеристик является важной задачей для диагностики обучаемости, так как позволяет выявить причины, препятствующие достижению состояния полной обученности.

Переходный режим – режим движения системы из некоторого начального к какому-либо установившемуся состоянию – равновесному или периодическому. С точки зрения обучаемой системы, периодический режим можно характеризовать как движение обучаемой системы по циклу в пространстве некоторых переменных.

Периодический режим характеризуется тем, что в системе возникают колебания внешней информации и энтропии деятельности. Причем эти колебания происходят со сдвигом фаз, аналогично колебаниям скорости и координаты в пружинном маятнике. Если проводить аналогию дальше, то скорость или кинетическая энергия соответствует внешней информации, а координата или потенциальная энергия – энтропии деятельности. При этом деятельность осуществляет не только ученик, но и та часть системы, которая управляет его деятельностью, именно она подает внешнюю информацию (роль этой системы выполняет учитель или компьютер).

Таким образом, обучаемая система – это обучаемый плюс управляющий внешний центр. Роль внешнего центра – подавать ученику в нужные моменты внешнюю информацию, управляющие воздействия. Если система переходит в состояние полной обученности данному виду деятельности, то есть в равновесное состояние, то это будет означать, что управляющий внешний центр не будет вмешиваться в деятельность обучаемого и энтропия деятельности обучаемого как параметра равна нулю.

Вернемся снова к рассмотрению переходного режима. Переходный режим возникает под влиянием изменения внешнего воздействия или изменения внутренних свойств систем. Например, обучаемый выполняет под управлением учителя или компьютера какую-либо учебную деятельность. Если управляющая система (учитель или компьютер) изменит управляющие воздействия, то возникнет переходный режим. Аналогично переходный режим может возникнуть при изменении внутренних свойств обучаемого. Например, повысилось внимание к выполняемым операциям или резко поменялась мотивация учебной деятельности.

Периодический режим может быть вынужденным и свободным. Тот периодический режим, о котором говорилось выше, скорее, можно отнести к вынужденному, так как подача внешней информации управлялась извне. Свободные колебания в деятельности возникают, когда нет никаких внешних воздействий и нет «диссипации» информации.

Эффективное изучение поведения динамической системы возможно не в любом пространстве ее состояний. При неудачном выборе координат включаемых в пространство состояний (фазовом пространстве) движение системы может оказаться непредсказуемым. При этом надо иметь в виду, что траектории системы в фазовом пространстве не пересекаются, то есть движение системы изображается непересекающимися траекториями.

Семейство фазовых траекторий, изображающих движение системы, называется ее фазовым портретом. Фазовое пространство любой динамической системы плотно заполнено фазовыми траекториями, то есть через каждую точку этого пространства проходит траектория.

Изменяя внешнее воздействие на систему, можно существенно изменять ее фазовый портрет. Число измерений фазового пространства системы называется порядком системы. Для обучаемой системы (типа ученика) в настоящий момент невозможно указать число степеней свободы или координат, в пространстве которых определяется состояние системы. Однако возможность описывать состояние системы в спроецированном пространстве, несомненно, существует.

Исходя из экспериментальных данных, координаты δ доля правильных действий и dδ/dt скорость изменения доли правильных действий интегрировано описывают состояния обучающейся системы.

Фазовые портреты динамических обучаемых систем строятся диагностическим программным модулем на основе экспериментальных данных (файлов-протоколов) полученных при динамическом компьютерном тестировании.

Рассмотрим плоскость фазового пространства состояний обучаемого [5], которая образуется долей правильных действий δ и скоростью изменения этой доли dδ/dt. Фазовое пространство состояний обучаемого в предложенной системе координат δ и dδ/dt отвечает следующим условиям: 1 > δ > 0; dδ/dt .

На рисунке 1 приведены экспериментальные фазовые портреты, полученные при обработке данных компьютерного динамического тестирования процесса обучения решению задач по конструированию графиков функций [5]. Рисунки показывают, что обучаемый, (рисунок 1 а) в процессе обучения переходит в устойчивое равновесное состояние полной обученности (траектория стремится к фокусу, точке δ=1 и dδ/dt=0). В этом состоянии деятельность по выполнению заданий строго упорядочена (обучаемый осознал алгоритм решения задачи).

Фазовый портрет ОС на рисунке 1 б находится в квазипериодическом режиме. Обучаемый «зациклен» на внешнюю помощь. Стоит обучающей системе перевести его на более высокий уровень достижения и соответственно уменьшить частоту помощи, как он начинает совершать неправильные действия. Доля правильных действий уменьшается, и обучающая система переводит обучаемого в состояние, отвечающее уровню ниже. Далее все повторяется до тех пор, пока он не уяснит алгоритм решения задачи. В данном примере мы наблюдаем явление недостаточной специфической обучаемости [6].

В педагогической и психологической диагностике на явление недостаточной специфической обучаемости обратили внимание в 70-х годах. В это же время начались интенсивные работы по разработке программ диагностики и коррекции НСО. Педагоги все больше стали осознавать широкую распространенность этого препятствия для обучения среди школьников, студентов и взрослых. Хотя, надо иметь в виду, что при отнесении тех или иных лиц к указанной категории лиц с НСО возможны ошибки.

Диагноз НСО следует применять только к детям, которые:

1) обнаруживают «резкое несоответствие» интеллектуальной способности достигнутому уровню навыков коммуникации и математических действий и 2) не могут овладеть ими на уровне, соответствующем их возрасту и интеллектуальной способности даже при обеспечении должного обучения.

Обычно дети с недостаточной специфической обучаемостью демонстрируют нормальный интеллект, нередко даже превышающий средний уровень, в сочетании с выраженными трудностями в овладении одним или несколькими основными школьными навыками (наиболее часто – чтением). Следует заметить, что недостаточная специфическая обучаемость может встречаться на любом интеллектуальном уровне, даже если дети с задержкой психического развития не подходят под юридическое определение недостаточной специфической обучаемости.

Дети с НСО проявляют различные поведенческие симптомокомплексы. Главными из них являются трудности в восприятии и кодировании информации, недостаточная интеграция входных сигналов разной модальности и нарушение сенсомоторной координации. Для таких детей типичны нарушение языкового развития, ограниченность памяти, произвольного внимания и навыков отвлеченного мышления. В частности, агрессия, а также другие эмоциональные и мотивационные проблемы, могут вполне развиваться как ответ на неудачи ребенка в учении и фрустрации, вызванные его недостаточной специфической обучаемостью. Многие специфические трудности, нормальные для раннего возраста, становятся признаками дисфункции, если сохраняются в старшем возрасте. Поэтому существует потребность в системе координат возрастного развития, хотя бы с качественными, если уж не с количественными нормативами.

Несмотря на наличие огромного количества тестов, которые используются для реализации современных принципов оценки НСО, многие исследователи неоднократно заявляли о потребности в новом, более информативном подходе к диагностике и оцениванию таких детей. Чаще всего для диагностики недостаточной специфической обучаемости используют методику динамической оценки.

Термин «динамическая оценка» охватывает множество разнообразных методик, которые предполагают намеренное отступление от стандартизованного или единого для всех тестов для получения дополнительных качественных данных об индивидууме. Несмотря на то, что пользовались такими методиками и раньше, популярность этого подхода начала расти с 1970-х гг. Он служил способом получения дополнительных качественных данных об индивидууме, причем не только в случаях с НСО, но и при работе с другими детьми, испытывавшими трудности в обучении, например, вследствие слабой или умеренной психической задержки. Была также в предварительном порядке проверена полезность этого подхода для оценки одаренности детей, особенно растущих в экономически неблагоприятных условиях.

Одна из первых таких качественных адаптаций процедуры тестирования получила название «тестирование пределов». При этой процедуре тестируемому могут даваться дополнительные сведения или подсказки. И чем больше подсказок требуется для удовлетворительного выполнения задания, тем больше выражена недостаточная специфическая обучаемость.

Несколько позднее был разработан подход, названный оценкой потенциала обучения. Термин «потенциал» в этом названии может быть отнесен к необоснованному предположению, будто исследуемая способность существовала всегда и ее нужно только «раскрыть». Однако на самом деле эти процедуры имеют структуру типа «тест – обучение – тест» и заключаются в обучении учащегося различным средствам выполнения задания, с которым он первоначально не смог справиться. Внешне эта процедура напоминает способ, используемый в некоторых прогностических образовательных тестах, где испытуемому дают выборочную задачу, требующую такого рода научения, с которым им предстоит столкнуться в конкретном учебном курсе. Тем не менее, процедура оценки потенциала обучения отличается от методики проведения прогностических тестов, по крайней мере, в двух отношениях: 1) обследуемому ученику дают указания или индивидуальные советы; 2) используемые задания обычно требуют более широких учебных умений и навыков решения задач.

Методики динамической оценки, начало которой было положено работами Фейерстейна и др., открывают ряд перспектив. Связывая оценку и обучение, они стимулируют исследования пределов изменяемости академической способности и содействуют разработке программ оптимальной коррекции. В добавление к этому они дают в руки квалифицированного клинициста средство оценки, позволяющее получать более ясные описания когнитивной деятельности и ее чувствительности к корригирующим вмешательствам, чем стандартизованные тесты интеллекта [1].

С точки зрения фазового портрета обучаемого, состояние НСО соответствует «устойчивым» предельным циклам. Понятие «устойчивость» применимо не только для оценки устойчивости равновесного состояния системы, но и для оценки характера движения системы.

Устойчивость характеризует одну из важнейших черт поведения системы. Можно быть уверенным, что это относится и к обучающимся системам. Понятие устойчивости применяется для описания постоянства какой-либо черты поведения системы, понимаемого в широком смысле. Это может быть постоянство состояния системы (его неизменность во времени) или постоянство некоторой последовательности состояний, пробегаемых системой в процессе ее движения, и т.п.

Точное и строгое определение понятия устойчивости применительно к состоянию равновесия динамической системы было дано выдающимся русским ученым А. Ляпуновым. Пусть неподвижная точка А изображает в фазовом пространстве системы ее равновесное состояние. Это равновесное состояние будет устойчивым, по Ляпунову, если для любой заданной области допустимых отклонений z от состояния равновесия можно указать такую область b (включающую состояние равновесия), что траектория любого движения, начавшегося в области b, никогда не достигнет границы области z.

Любая система находится под влиянием внутренних и внешних возмущающих воздействий. Сколько малы ни были бы воздействия, они всегда будут вызывать флуктуации состояния системы, в результате чего изображающая точка будет блуждать около своего среднего положения в некоторой области. Она рано или поздно пересечет границу любой наперед заданной области. Это будет означать, что система не обладает устойчивым равновесным состоянием.

Обучаемый как динамическая система, обладающая разумом, имеет единственное устойчивое равновесное состояние, которое характеризуется полной обученностью выполнения деятельности по решению задач. Это состояние соответствует автономной стадии в решении проблем, которая отвечает сформировавшейся компетентности у обучаемого.

Обучаемый, деятельность которого, в фазовом пространстве задач характеризуется устойчивым предельным циклом (рисунок 1 б), страдает недостаточной специфической обучаемостью [4].

По экспериментальным данным динамического компьютерного теста-тренажера была построена гистограмма динамических порогов (обычно динамический порог определяется клиническим методом). Протестировано 319 учащихся 9 классов школ № 15, 99 г. Красноярска и Мининской средней школы Емельяновского района (рисунок 2).




На гистограмме динамических порогов ось Y (Pj на гистограмме) – доля ∆N/N учащихся, имеющих уровень I (N = 319), а ось X (уровень на гистограмме) – уровень самостоятельности, достигнутый при выполнении заданий.

Первым порогом обладают примерно 28 % обучаемых, те, кто так и не смог решать задачи без подсказок (каждое действие, выполненное обучаемым, имело информационную помощь) и полностью не понимают алгоритм решения задач.

26 % обучаемых имеют второй порог – они успешно выполняют задания, только тогда, когда вариативно (случайным образом) в среднем на два действия оказывается помощь. Как только частота помощи уменьшается, обучаемый начинает действовать неправильно.

Примерно 21 % обучаемых имеют 7 – 10 порог. Это успешные ребята. Они, практически не имея подсказок (10 уровень – одна случайная подсказка в среднем на 100 действий), правильно выполняют задания. Алгоритм решения задач сформирован. Что касается ребят, находящихся ниже 7 уровня (их 79 %), все они имеют диагноз недостаточной специфической обучаемости.


<< предыдущая страница   следующая страница >>