Подкрепление

10.09.2016
Одна из центральных проблем физиологии высшей нервной деятельности — физиологический механизм подкрепления. Известно, что И.П. Павлов подчеркивал важность последовательности применения сигналов — условного и безусловного. По Ю.К. Конорскому, подкрепляющим является только тот раздражитель, который ведет к установлению условного ответа и в дальнейшем поддерживает этот ответ. Такое определение имеет операциональный смысл и не ведет к пониманию физиологического механизма. Для более полного прояснения позиции Конорского разберем несколько примеров из его монографии «Интегративная деятельность мозга».

Согласно Ю. Конорскому, пищевой условный рефлекс является исполнительным рефлексом, а голод — подготовительным. Условный рефлекс на пищу представляет собой ассоциацию между раздражителем любой модальности и вкусовым раздражением. Индикатором образования классического пищевого условного рефлекса является выделение слюны. Как уже описывалось ранее, выработка рефлекса состоит в последовательном предъявлении индифферентного раздражителя и пищи с частичным перекрытием (1—2 с). Впоследствии этот интервал удлиняют до 10—20 с. Образование ассоциации, по Конорскому, возможно только при условии неспецифического облегчающего влияния драйва голода. Голод активирует вкусовой и обонятельный анализаторы, и это вызывает аппетит. Подтверждением справедливости этого заключения является то, что у недостаточно голодной собаки практически невозможно выработать пищевой условный рефлекс.

Разберем подробно стадии формирования пищевого условного рефлекса (рис. 5.3). Сочетание раздражителя с предъявлением пищи в первую очередь вызывает образование условного рефлекса голода. Только позже он постепенно переходит в условный рефлекс на пищу. Это можно было предвидеть, зная, что драйв (состояние организма) голода создает прямую активацию неспецифической (ретикулярной) системы головного мозга. Ее возбуждение сразу же используется мозгом для образования ассоциации между условным сигналом и драйвом. Образование условного рефлекса на пищу происходит только на второй стадии его выработки, поскольку для формирования этого рефлекса необходимо облегчающее влияние со стороны драйва голода.
Подкрепление

Таким образом, выработка пищевого условного рефлекса по обычной методике состоит из двух различных, но тесно взаимосвязанных событий. Во-первых, образуются связи между гностическими нейронами, активность которых отражает элементы экспериментальной обстановки, и нейронами представительства драйва голода. Эти связи порождают условный рефлекс голода. Его признаками являются беспокойство животного, повышение чувствительности к внешним, особенно вкусовым раздражителям. Например, сигналы пищи (запах, звон столовых приборов и пр.) вызывают «голодные» сокращения желудка. Во-вторых, формируются связи между гностическими нейронами представительства условного сигнала и нейронами представительства вкуса пищи, используемой для подкрепления. Собственно эти связи и порождают условный рефлекс на пищу, включающий в себя слюноотделение и подавление «голодных» сокращений желудка.

В противоположность беспокойству, возникающему при действии условного сигнала голода, условный сигнал пищи вызывает почти полную неподвижность животного и сосредоточение его внимания на кормушке. Преобладание того или иного типа ответа зависит от методики эксперимента, а также от индивидуальности животного (типа высшей нервной деятельности). Если эксперименты по выработке пищевого условного рефлекса проводятся стереотипно, с постоянными достаточно длинными интервалами между сочетаниями, то в этих интервалах развивается сильный условный антидрайв-рефлекс — собака становится все спокойнее и может заснуть. И.П. Павлов называл такую реакцию «угашением с подкреплением», и она привела его к мысли, что любой раздражитель при повторении превращается в тормозной сигнал. Это явление в свое время было бичом павловских лабораторий. Изложенные положения иллюстрируются схемой на рис. 5.3.

Следующий пример — формирование оборонительного условного рефлекса. Болевой раздражитель вызывает одновременно фазическую (быструю) исполнительную реакцию и тоническую (затянутую) реакцию страха, которая по длительности превосходит время действия раздражителя. Ввиду этого условный рефлекс не оказывается в антагонистическом отношении к соответствующему драйву, как при пищевом условном рефлексе, а может проявляться одновременно (рис. 5.4).
Подкрепление

Рассмотрим формирование оборонительного условного рефлекса на удар электрического тока по лапе собаки. В этом случае, по мнению Ю. Конорского, устанавливаются два рода связей: (1) связи между гностическими нейронами, воспринимающими боль, и (2) связи между теми же гностическими нейронами и нейронами, воспринимающими страх. Связи (1) обеспечивают осуществление условного рефлекса на удар тока, который, как известно, проявляется либо в отдергивании лапы, либо в виде «замирания».

В лабораториях И.П. Павлова широко применяли оборонительные пищевые условные рефлексы, подкреплением в которых служило вливание в рот собаки раствора кислоты (обычно слабый раствор соляной кислоты). Этот метод оказался удобным потому, что эффекторной реакцией было слюноотделение, как и при пищевом условном рефлексе. Ho по классификации Конорского оборонительное слюноотделение следует отнести к защитным, а не к сохранительным рефлексам, как это имеет место в пищевом условном рефлексе. В кислотном условном рефлексе отношения между исполнительным рефлексом и драйв-рефлексом такие же, как и при описанном выше оборонительном рефлексе на удар тока по лапе. Так, если кислота сильно разбавлена, она гонит слюну, но оборонительный рефлекс не вырабатывается. Ю. Конорский объясняет это недостаточной силой драйва страха, вызываемого безусловным агентом. Слишком большая концентрация кислоты вызывает ожог слизистой, животное становится беспокойным, а слюноотделение подавляется. Отсюда делается вывод, что для успешной выработки условного оборонительного рефлекса необходимо правильно подобрать силовые соотношения между условным рефлексом страха и условным рефлексом на кислоту.

Таким образом, все типы оборонительных рефлексов (на удар тока, кислоту и пр.) можно анализировать исходя из предпосылки, что они состоят из двух относительно независимых рефлексов: условного драйв-рефлекса страха и исполнительного условного рефлекса. Первый условный рефлекс формируется в результате образования связи между нейронами данного анализатора и нейронами лимбической системы головного мозга, от которых зависит чувство страха. Эта связь является общим компонентом всех оборонительных условных рефлексов. Исполнительный же условный рефлекс формируется путем установления связи между нейронами условного сигнала и нейронами безусловного агента, специфичного для данного вида подкрепления. Характер данного оборонительного рефлекса зависит от соотношения интенсивностей обоих его компонентов. И хотя исполнительный условный рефлекс «питается» условным рефлексом страха, всегда существует какой-то оптимальный уровень силы последнего, при котором исполнительный условный рефлекс сохраняется и проявляется наиболее эффективно.

Напомним, что в основе своей концепции Ю. Конорский положил три принципа. Принцип интеграции сенсорного притока (1), или принцип формирования перцептивных гностических нейронов, проявляется уже на нижних этажах мозга, но достигает своего высшего развития в гностических полях коры в форме принципа ассоциаций (2), или образования временных связей между различными группами гностических нейронов. И наконец, организм обеспечивает себя новыми стимул-объектами (3), а следовательно, и новыми восприятиями посредством выполнения движений. По мнению Ю. Конорского, существуют большие различия между принципами (2) и (3). В соответствии с принципом (2) устанавливается связь между двумя группами гностических нейронов, активируемых соответствующим стимул-объектом, и гностическими нейронами, которые активируются этой связью в отсутствие стимул-объекта, тогда как, согласно принципу (3), животное активно ищет стимул-объект.