Инструментальные условные рефлексы

Инструментальные условные рефлексы.

Статьи по теме
Искать по теме

Инструментальный условный рефлекс – условный рефлекс, в котором выполнение определенной (двигательной) реакции в ответ на условный раздражитель является необходимым условием получения подкрепления (выработка по эффекту). Выработка инструментального условного рефлекса происходит при активации центра определенного драйва, вызывающего общую активацию, направленную на прекращение этого драйва. При повышенной активности (методом проб и ошибок) находится адекватная реакция, которая усиливается по закону эффекта.

Понятие условных рефлексов

Условный рефлекс – закономерная реакция организма на ранее индифферентный раздражитель, воспроизводящая: – безусловный рефлекс (классический условный рефлекс); или – движение, являющееся необходимым условием подкрепления (инструментальный условный рефлекс).

Условные рефлексы: – осуществляются высшими отделами мозга; – обеспечивают приспособление организма к изменяющимся внешним условиям; – основаны на временных связях, образующихся между определенными нервными структурами в индивидуальном опыте животного и человека; – могут утрачиваться и восстанавливаться.

Рефлексом называют "машинообразный" ответ организма на какое-либо воздействие, который реализуется в форме последовательного возбуждения цепочки элементов, составляющих так называемую рефлекторную дугу.

Цепочку элементов сейчас подскажет любой ученик, даже не знающий ничего про рефлекторную дугу и сам рефлекс. Это – сенсор (рецептор) чувствительный элемент; восходящий (афферентный) путь к центральному звену (соединение с устройством управления); само устройство управления, в виде нейрона или их групп; нисходящий (эфферентный) путь к эффектору (рабочему органу); и то, чем управляют. Правда, банально? Сколько столетий до этого додумывалось человечество, даже после Рене? Необходима была достоверная (проверенная нашим инструментарием восприятия) полнота знаний об анатомии и физиологии.

Ну, так вот рефлексы классифицируют: по сенсору; по эффектору; по количеству составных частей – то есть нейронов встроенных в сеть; по биологической значимости; и....

А здесь моя личная история начинает переплетаться с понятиями о рефлексах. Надо же, мир мал – бабушка моей жены была одно время в кухарках у Павлова. Отзывалась о нём не очень. Я в настоящее время живу у школы, которую построили на деньги Павлова, и супруга там училась. Но самое интересное в науке – сплетни. Так вот, когда работал лаборантом на кафедре физиологии, я был свидетелем разговора одного доктора наук с очень старым кандидатом (думается мне, он до сих пор живёхонек). Суть диалога увлеченных балтологов заключалось в том, что доктор делился своими изысканиями в архивах "Павловских" времен: – "Вы думаете, Павлов сам наткнулся на фистульное слюноотделение при подачи условного сигнала? Я Вам авторитетно заявляю – нет. Был у него ученик, и он поставил эксперимент (защита то прошла незамечено, но сам доклад я видел) – но вот незадача, исчез куда-то при чистках сам докладчик. Как-то быстро ученый испарился по документам. Был человечек – и нету его, только работа единственная и осталась. Но с Вами я согласен, Павлов это дело раскрутил по полной программе, добросовестно – ему и честь!"

Так вот, рефлексы разделяют: на врождённые, то есть безусловные – передающиеся нам посредством генов (не требующие обучения) и приобретенные – так называемые условные (закрепляющиеся у нас после обучения, какого бы то ни было). А нам необходимо рассмотреть выделенное последним явление.

Условные рефлексы – это индивидуально приобретённые системно приспособительные реакции, возникающие на основе образования в центральной нервной системе временной связи между условным – сигнальным раздражителем и безусловно-рефлекторным актом.

Вообще в мире условные рефлексы называют – Павловскими рефлексами, потому как он их широко описал на базе пищеварительной системы, и образ "собаки Павлова" давно бродит не только по Европе, но и по всему миру.

Подкреплением условному рефлексу может служить любая деятельность организма, в которой мы всегда можем выделить окончательный, безусловно-рефлекторный акт. Даже такая, как мысленное предположение успешности в чем-либо или идентификация себя с героями клипов (на чём, в частных случаях, и работает реклама (имитационный условный рефлекс)).

Классифицируют условные рефлексы:

1) по особенностям подкрепления

2) по характеру условного сигнала

3) по соотношению во времени действия условного и безусловного раздражителей.

Суть в том, что прения по поводу как всё действует, и что из чего состоит – ещё не прекратились, и можно обобщенно сказать, что Павлов до сих пор спорит с Рабиновичем, а Вартанян подливает масло в огонь (игра звучания фамилий исследователей). Схема же проста – сигнал связывается с желаемым подкреплением во временном пространстве посредством "черного ящика" – мозга, который, в свою очередь, запускает рефлексы организма. Уже известно, что наиболее значимы для приобретения условных рефлексов фронтальная и сенсорная кора, а также гиппокамп (отделы головного мозга).

Дискутируют о клеточных механизмах – существуют как минимум две гипотезы – синаптическая и мембранная. Большинству далёких от физиологии совершенно не важно, что более значимо при обучении изменение свойств клеточной мембраны нейрона или только его синапсов.

Для образования условного рефлекса необходима первичная сенсорная генерализация, при которой важны характеры условного сигнала и безусловного подкрепления, а также их временное сочетание. В этой стадии спектр сигналов к реакции может быть достаточно широким. Закрепляется условный рефлекс специализацией первичных сигналов как особых. То есть повторяемость паттерна "сигнал-подкрепление" должна быть высока, и при этом легко объединяться временным периодом происходящего.

Очень хорошо, что условные рефлексы не являются постоянными и могут изменяться в зависимости от среды и состояния организма, а то бы мы носили багаж случайно закрепленного всю свою жизнь. Это обеспечивается процессами торможения, которые Павлов разделял на – внешне безусловные и внутренние условные.

Под внешним (безусловным) торможением понимают срочное подавление текущей условно-рефлекторной деятельности при возникших посторонних для неё раздражениях, вызывающих ориентировочный (Что такое?) или какой либо другой безусловный рефлекс. Этот тип торможения врождённый и осуществляется благодаря явлению отрицательной индукции, то есть переключения внимания на другое действие или объект с подавлением предыдущего интереса – по типу либо то, либо иное. Так сосуществуют два антагонистических рефлекса – пищевой и оборонительный – более слабый тормозится под влиянием более сильного.

Охранительное торможение по Павлову это когда увеличение интенсивности сигнала приводит не к увеличению эффекта (как обычно ожидается), а к уменьшению, либо полному исчезновению, тем самым ограждая клетки мозга от переутомления. Крайний случай такого торможения – ступор.

Внутренним (условным) торможением условно-рефлекторной деятельности называются случаи, когда условный раздражитель перестаёт подкрепляться безусловным. Такое торможение возникает постепенно, и Павлов считал, что оно происходит внутри нервных структур, обеспечивающих этот рефлекс.

Этот вид торможения он делил на четыре типа:

1) угасательное – мозговая связь теряет свою силу при отсутствии подкрепления.

2) дифференцированное – при не подкреплении раздражителя, близкого по свойствам подкрепляемому сигналу. Фактически, это стадия специализации условного рефлекса.

3) условный тормоз – при не подкреплении комбинации из положительного условного сигнала и индифферентного (нейтрального) раздражителя.

4) торможение запаздывания – подкрепление не отменяется, а значительно отдаляется от начала действия условного раздражителя.

Как я уже упоминал, эти положения и классификации критикуются по отдельным блокам осмысления, и разной величины моськи лают на жизнеспособную слонообразную теорию Павлова, вычленяя и добавляя к ней отдельные значимые куски.

Когда осмысливаешь значимость условных рефлексов, сразу встаёт вопрос – любая ли приобретённая форма поведения может называться рефлексивной? Ответ на него не однозначен, как и на другой риторический – "Что сначала появилось курица или яйцо?" Но совершено точно, при этом мы можем утверждать – высшая форма поведения формируется ассоциативно на базе условных рефлексов первого и второго порядка посредством формирования картирования функциональной структуры окружающей среды. Тем самым, выстраивая внутреннюю (мозговую, виртуальную, знаковую) модель миропорядка. И уже при обращении посыла восприятия в эту знаковую модель (для решения тех или иных проблем) человеческий организм, сконцентрированный в личность, может выдавать "машинообразный" условный рефлекс третьего порядка.

Что же там о порядках? Что значит первый или второй порядок? А то так сразу третий.

Ассоциативное научение, основанное на связывании сигнала с безусловным рефлексом организма принято называть условными рефлексами "первого" типа или классическими условными рефлексами.

По-простому можно объяснить на примере: собаку (не важно чью, а может, вовсе не собаку) били эклектическим током при включении света. При этом она вздрагивала и отстранялась от решетки, по которой пропускали электричество, благо оно было не сильное. Далее наличие тока вовсе уже не нужно, чтобы псина (а может и вовсе...) при включении света вздрагивала и отстранялась от решёточки, привалившись к которой, она любила отдыхать. Этот тип приспособительной реакции относят к условным рефлексам первого порядка.

Второй порядок строится на активной целенаправленной деятельности некоторого существа, например: некую крысу в экспериментальной камере кормили только при нажатии педали, на которую первый раз она ступила (безусловно) случайно. А потом ещё ввели условие, чтобы (она) не объелась, гудок чайника перед нажатием на педаль. То есть установили связь: сигнал > нажатие на педаль > пища. В результате чего, как только экспериментатор готовился перекусить, испытуемая жала на педаль и получала вожделенную горбушку. Но при этом установилась и обратная связь – когда крыса давила на педаль, выделялся желудочный сок у экспериментатора. А теперь, уважаемые, ответьте на поставленный вопрос. Какие виды рефлексов мы здесь наблюдаем?

Автоматическое действие, основанное при ассоциативном обучении на ожидании желательного исхода, принято называть инструментальным или условным рефлексом второго типа.

Что же касается условного рефлекса третьего порядка, то здесь пока не принято однозначных формулировок. Так как нейронный макет, или образ восприятия среды, может всплывать в осознании существа при обнаружении в своём окружении части компонентов предыдущего образа и тем самым формировать точно такое же поведение, которое было при предыдущем опыте.

Поведение, направляемое образами, стали называть произвольным в отличии от условно-рефлекторного, автоматизированного (И.С. Бериташвили).

Выше выделяемый абзац нас вновь возвращает к Декарту, и его утверждениям о формировании идей ложных и нет – как отражений нам кажущихся объективными пространств.

Так некоторые образы восприятия, у людей, во всяком случае, сливаются в простые, но при этом совокупные (объединяющие нечто) знаки-понятия. Которые в свою очередь могут и, по всей вероятности, картируют в сигнальной системе мозга окружающее пространство уже в широком смысле, строя тем самым модель миропорядка, которая может охватывать постижимый данным менталитетом блок сопоставляемой внутри себя информации. Исходя из которого, личность может выбирать простые и сложные произвольные действия автоматизировано – без вербального, логического осознавания оных.

Это фактически значит, что произвольное поведение как минимум может быть трёх типов: произвольно-рефлекторное – когда "личность" действует автоматизировано по программе без вмешательства скептического осознания действий; собственно произвольного – когда целенаправленной программы нет, но и яркого стремления, куда-то, тоже; и осознано произвольно выбранного – когда действия осознанно, направляются в нужном произвольно выбранном направлении.

Индивидуальное поведение, первично направляемое психонервным образом при повторной тренировке автоматизируется и осуществляется по всем закономерностям условно-рефлекторного обучения.

Сложность ещё в том, что какая-то цельная выполняемая программа действия разбивается на более простые и часто уже автоматизированные программки осуществления желаемого.

Элементарная (и не очень) рассудочная деятельность наблюдается и у животных, я думаю, в этом мало кто сейчас сомневается (но вспомните век Декарта, хотя бы по его изречениям).

Я же завершу на безрадостной ноте: реклама создаёт в сознании психонервные образы, которые, при наличии определённых обстоятельств, вызывают вполне уловно-рефлекторный ответ на них личности в повседневной реальности. Кроме того, она же формирует базисную психонервную карту понимания миропорядка развивающегося сознания.

Производители же продукции за своим стремлением заработка и плана быстрого обогащения не способны увидеть и принять во внимание, что они вешают "Дамоклов меч" над собой и своим потомством – выпуская такую действенную рекламу. Например, слоганы направленный на свободное время – "есть перерыв – есть гамбургер в Макдональд-с" – или "не тормози – конфету прими". Это мини программы заполнения своего досуга приводит к ожирению многих (при этом не сразу – отдалённый эффект), в том числе и обогащающихся с помощью них хозяев этой фирмы.

Сами нервно-психические программы-образы взаимодействия в мире явно могут быть различной сложности и выделять отличные друг от друга приоритеты, что может создавать труднопреодолимые конфликты разных сообществ как друг с другом, так и внутри себя. Миф о "Вавилонской" башне наглядно демонстрирует это.

Основным признаком условного рефлекса является то, что стимул в процессе образования временной связи (научения) вместо свойственной ему безусловной реакции начинает вызывать другую, ему несвойственную. Сигнал изменяет свое действие под влиянием последующего значащего для организма эффекта. Сигнал приобретает значение этого эффекта. Такое обучение Е.Н. Соколов назвал эффект-зависимым.

Инструментальный условный рефлекс

В инструментальных условных рефлексах значительную роль выполняет внутренняя активность животного. По определению Ю. Конорского, "...инструментальные условные рефлексы – это рефлексы, в которых в ответ на данный раздражитель производится движение, выполняя которое животное либо обеспечивает себя привлекающим безусловным раздражением, либо избегает отвергаемого раздражения". Согласно Э.А. Асратяну, инструментальные рефлексы – это рефлексы, в которых непременным условием является осуществление тех или иных двигательных реакций (как для получения вознаграждения, так и для избавления от болевого стимула), где движение всегда имеет сигнальное значение. Из определений следует, что инструментальный рефлекс характеризуется активным поведением животного, направленным на получение биологически полезного результата. Этот полезный результат и является подкреплением в инструментальных рефлексах. При этом выработка инструментальных рефлексов происходит по "закону эффекта" Э. Торндайка.

Классификация условных рефлексов. Часто условные рефлексы обозначают по названию безусловных рефлексов, на основе которых они выработаны: пищевой, оборонительный, ориентировочный и т. п.

По афферентному звену рефлекторной дуги, в частности по рецепторному признаку, выделяют две большие группы условных рефлексов: экстероцептивные и интероцептивные. Иногда выделяется как отдельная группа проприоцептивные условные рефлексы.

Среди экстероцептивных условных рефлексов в соответствии с модальностью условного раздражителя выделяют зрительные, слуховые, обонятельные, вкусовые, тактильные и температурные. Экстероцептивные условные рефлексы могут быть выработаны на вид предметов, отношение между ними по величине, форме, цвету; на силу, высоту и тембр звука; на различные запахи и вкусовые раздражения; на механические и температурные раздражения кожи и т. д. Экстероцептивные условные рефлексы играют роль во взаимоотношениях организма с окружающей средой, поэтому они образуются относительно быстро. Так, например, у собак для этого необходимо примерно 5... 20 сочетаний экстероцептивного условного раздражителя с безусловным рефлексом. При подкреплении, совпадающем с актуализированной потребностью, такие условные рефлексы быстро специализируются и укрепляются.

Инструментальные условные рефлексы могут формироваться на базе безусловно-рефлекторных двигательных реакций. Например, двигательные оборонительные условные рефлексы у собак вырабатываются очень быстро (2-6 сочетаний условного раздражителя с болевым подкреплением), сначала в виде общедвигательной реакции, которая затем достаточно быстро специализируется. Инструментальный условный рефлекс состоит не в воспроизведении безусловной реакции, а в реализации такого действия, которое позволит достичь или избежать последующего безусловного подкрепления. Человек или животное для того, чтобы получить вознаграждение (положительное подкрепление) или избежать наказания, должны осуществить какое-то активное действие. Это может быть локомоторная деятельность – изменение положения тела в пространстве, перемещение по лабиринту и т. п. Более сложное взаимоотношение организма с внешней средой проявляется в манипуляционной деятельности (манипуляторами могут служить клавиши, педали, рычаги и т. п.). Выполнение различных операций осуществляется цепью двигательных актов, а вегетативным реакциям принадлежит вспомогательная функция.

При инструментальной деятельности человек или животное обучается такой схеме поведения, которая может служить решающим фактором выполнения конкретной задачи и удовлетворения определенной потребности. Инструментальный условный рефлекс всегда представляет собой активную двигательную реакцию обучающегося. В первых пробах эксперимента на базе ориентировочно-исследовательского рефлекса животное осуществляет поисковую (беспорядочную) двигательную активность. При первом случайном нажатии на манипулятор животное получает подкрепление. Это подкрепление будет приводить к повторению удачной реакции. В этом варианте инструментального условного рефлекса частота двигательных реакций будет зависеть от самого животного. Отмена подкрепления, как и в классических условных рефлексах, приводит к угашению инструментального рефлекса. Подкрепление усиливает или увеличивает вероятность реакции..

Обычно образование условного рефлекса происходит при совпадении сочетаемых раздражителей либо опережении сигнальным раздражителем безусловного подкрепления. Для большинства условных рефлексов наиболее эффективно 0,5-секундное опережение условным стимулом безусловного. Исследование временных отношений при выработке условных рефлексов позволяет ставить вопросы о времени с ледообразования, временных характеристиках энг-раммы, механизмах памяти. В процессе выработки условного рефлекса изменения интервала между сочетаемыми стимулами снижают прочность условного рефлекса. При обратном порядке следования ассоциируемых раздражителей условные рефлексы либо не образуются, либо возникают с большим трудом.

Условные рефлексы по показателю временных соотношений между ассоциируемыми раздражителями делят на две группы: наличные – в случае совпадения во времени условного сигнала и подкрепления, и следовые условные рефлексы, когда подкрепление предъявляется лишь после окончания условного раздражителя. Наличные рефлексы в свою очередь по величине интервала между включением ассоциируемых раздражителей делят на несколько видов – совпадающие, отставленные и запаздывающие.

Созданные в последние годы теории программированного обучения тоже содержат элементы инструментального (оперантного) научения, поскольку обратная связь у обучающегося используется для подкрепления. Программы с подкреплением используются также при конструировании различных игровых автоматов, где время от времени играющий получает вознаграждение (подкрепление).

Обычно образование условного рефлекса происходит при совпадении сочетаемых раздражителей либо опережении сигнальным раздражителем безусловного подкрепления. Для большинства условных рефлексов наиболее эффективно 0,5-секундное опережение условным стимулом безусловного. Исследование временных отношений при выработке условных рефлексов позволяет ставить вопросы о времени с ледообразования, временных характеристиках энг-раммы, механизмах памяти. В процессе выработки условного рефлекса изменения интервала между сочетаемыми стимулами снижают прочность условного рефлекса. При обратном порядке следования ассоциируемых раздражителей условные рефлексы либо не образуются, либо возникают с большим трудом.

Литература

1. Ламкин Павел Условный Рефлекс//Самиздат от 26/07/2007.

2. Данилова Н.Н., Крылова А.Л. Физиология высшей нервной деятельности. – М.: Учебная Литература, 1997

3. Михайлова Н. Г., Электроэнцефалографические и вегетативные корреляты реакций самораздражения, "Журнал высшей нервной деятельности", 1971,

4. Соколов Е.Н. Нейронные механизмы памяти и обучения М.: Просвещение1999