Kafli 4 - Reinforcement and Extinction of Operant Behavior

Virk skilyrðing (operant conditioning)

Þegar virk hegðun er valin með styrkingu eykst hún. Þegar styrking fylgir ekki hegðun minnkar hún.

Byggir á tegundabundinni sögu (phylogenic history)

Virk hegðun (operant)

Hegðun sem virkar á umhverfið til að framleiða áhrif eða afleiðingar, sem styrkja eða veikja síðan hegðunina.

Oft kemur ekki áreiti á undan, þar sem hegðunin er gefin frá sér (emitted) en það getur gerst.

Rannsóknir á innri áhugahvöt

* __**Eisenberger og Cameron**__: Fundu engin neikvæð áhrif vegna verðlauna á innri áhugahvöt, heldur að þau auki áhuga á því sem er gert til að vinna sér inn verðlaun.

\
* __**Cameron, meta-analysis**__: Verðlaun geta viðhaldið innri áhuga einstaklings á athöfn, yrt verðlaun auka frammistöðu og áhuga, efnisleg verðlaun auka frammistöðu og áhuga á verkefnum sem voru talin leiðinleg í upphafi, einstaklingur gæti öðlast innri áhuga með verðlaunaprógrammi sem bindur verðlaun og mastery saman.

Áhrif verðlauna á verkefni sem fólki finnst áhugaverð

Cameron, meta-analysis.

Efnisleg verðlaun minnka innri áhuga, nema þegar kemur að því að ná góðri frammistöðu eða að reyna að ná framúr öðrum.

Ad libitum weight

Fugli er gefið minna að borða fyrir rannsókn þar til hann nær 80% free feeding þyngd

Breytileiki svörunar (behavior variability)

Tilhneiging dýrs til að sýna breytileika í svörun í gefnum aðstæðum, prófar allskonar mismunandi svörun til að fá styrkingu.

Í slokknunarferlinu verður hegðun sífellt breytilegri eftir því sem líður á.

Skilyrtur styrkir (conditioned reinforcer)

Atburður eða áreiti sem öðlast styrkingargildi sitt yfir lífstíð lífveru (t.d. clicker í clicker training)

Formgerð hegðunar (topography)

Sjáanlegt form hegðunar

Flokkur virkrar hegðunar (operant class)

Öll hegðun sem hefur sömu afleiðingar eða áhrif tilheyrir sama flokki, þrátt fyrir að formgerð hennar sé ólík t.d. að loka hurð með hendi vs. að loka henni með fæti

Operant level

Grunnskeið

Gefa frá sér (emitted)

Svörun sem verður oft án þess að sjáanlegt áreiti komi á undan

Kveikt (elicited)

Svörun sem er viðbragð við ákveðnu áreiti

Greinireiti (descriminative stimulus, SD)

Atburður eða áreiti sem kemur á undan virkri hegðun og parast við styrkingu eða styrkingarleysi hegðunar og hefur þannig áhrif á líkurnar á því að hegðunin eigi sér stað í framtíðinni í návist þess.

Skilgreinast af því að þau setja upp aðstæður þar sem ákveðin hegðun getur átt sér stað. Skilgreinast ekki út frá efnislegu útliti heldur út frá því að þau koma á undan hegðun og breyta líkunum á birtingu hennar.

Greinistyrking (differential reinforcement)

Virk hegðun er styrkt í einum aðstæðum en ekki öðrum.

Þegar ein hegðun er styrkt umfram aðra á meðan önnur er ekki styrkt eða styrkt minna.

S-delta, S∆

Þegar engin styrking fylgir virkri hegðun, þá kallast áreitið sem kom á undan S-delta. Í nærveru S∆ eru litlar líkur á virkri hegðun.

Styrkingarskilmáli (contingency of reinforcement)

Sambandið á milli virkrar hegðunar og afleiðinga hennar sem ráða líkunum á endurtekningu hennar.

Samanstendur því af þrennu:

* Antecedent - það sem kemur á undan hegðun
* Behavior - virk hegðun
* Consequence - afleiðingar hegðunar

Chunking

Ákveðið virknimynstur í heila sem einkennist af mikilli virkni fyrir vísbendi, lítilli virkni á meðan hegðun stendur og mikilli virkni þegar verðlaun eru veitt.

Segir til um sjálfvirka hegðunarrútínu sem kallast vani.

Skipting styrkingarskilmála hjá taugalíffræðingum

1. Að læra um afleiðingar hegðunar
2. Að læra um tenginguna milli greinireita og styrkingar

Premack lögmálið (ömmureglan)

Hegðun sem á sér oft stað getur virkað sem styrkir fyrir hegðun sem á sér ekki oft stað.

T.d. fyrst þarftu að ryksuga, síðan máttu horfa á sjónvarpið

Premack-lögmálið: Rannsókn með rottum

* Að hlaupa á hjóli jók tækifæri til að drekka vatn, og þá styrkti vatnsdrykkja hlaup. Þegar rotturnar fengu að velja á milli vildu þær frekar hlaupa.
* Líka hægt að snúa þessu við þannig að hlaup styrkir vatnsdrykkju, og þá vildu rotturnar frekar drekka vatn en að hlaupa þegar þær fengu að velja. Veltur bara á hvaða hegðun er algengari.

Stigveldi svörunar (response hierarchy)

Öll svörun gerist misoft. Öll svörun í stigveldinu ætti að styrkja þær sem eru fyrir neðan; og sú sem er fyrir neðan ætti að vera styrkt af öllum svörunum sem eru fyrir ofan.

Þegar response deprivation verður endurraðast stigveldið og ákvarðar hvaða hegðun virkar sem styrkir hvenær.

Instrumental response

Hegðun sem býr til tækifæri til að taka þátt í einhverri athöfn. Athöfnin kallast þá contingent response.

Contingent response

Athöfn sem verður til með því að framkvæma instrumental response

Response deprivation hypothesis

Þegar styrkingarskilmáli er settur á milli instrumental og contingent responses þá truflast jafnvægið af því dýrið er svipt contingent response. Dýrið ætti því að hegða sér þannig að það framkvæmir instrumental response endurtekið til að fá aftur grunnskeiðið af contingent response.

Hægt að hagnýta meira en Premack lögmálið.

Skortur á svörun (response deprivation)

Verður þegar aðgengi að contingent response er skert og fellur fyrir neðan grunnskeið sitt

Töf (latency)

Sá tími sem líður frá því að áreiti birtist þar til svörun kemur og er einn mælikvarði á svörun.

* Skinner taldi að ef maður mældi bara töf þá myndi maður missa af breytingum sem verða yfir flokka virkrar hegðunar

Law of effect

Í raun bara lögmálið um styrkingu.

Tíðni svörunar (rate of response)

Fjöldi svara á tilgreindu tímabili, þannig maður getur ályktað um líkurnar á svörun og fær beina mælingu á vali hegðunar útaf afleiðingum hennar

In-vitro styrking, IVR

Kalsíumskot eru styrkt hjá taugafrumu með dópamíni sem binst við sérstakan viðtaka.

Notað til að styrkja einstakar taugafrumur.

Tíðni virkrar hegðunar (operant rate)

Mælir líkurnar á hegðun (probability of response).

Virk hegðun sem er sýnd mikið í einum aðstæðum er mjög líkleg til að vera sýnd í svipuðum aðstæðum í framtíðinni.

Free-operant method

Tími sem lífvera tekur þátt í tiltekinni hegðun er borinn saman við þann tíma sem hún tekur þátt í öðru.

Dýr getur endurtekið sýnt svörun í ákveðið langan tíma. Lífveran má sýna margar eða engar svaranir.

Gerir rannsakanda kleift að sjá breytingar í tíðni svörunar og mæla líkurnar á svörun.

Deprivation operation

Að skerða aðgengi tilraunadýrs í Skinnerbúri að mat.

Veldur því að ákveðnir hormónar seitast þegar líkaminn reynir að ná aftur jafnvægi. Þessir hormónar geta annðvort aukið eða minnkað hegðun sem stýrist af matarstyrkjum.

Sístyrking (continuous reinforcement, CRF)

Þegar hver einasta svörun lífveru er styrkt

* Hegðun sem er undir sístyrkingu slokknar hraðar

Gjörðaforði (repertoire)

Samansafn allra virkja sem lífvera hefur á valdi sínu, byggist á tegundabundinni og umhverfislegri sögu

Hægfara námundun (successive approximation)

Formgerð hegðunar er valin sem líkist á einhvern hátt þeirri hegðun sem á að móta. Formgerðin er styrkt í hvert skipti sem hún færist nær formgerð markhegðunarinnar.

Mótun (shaping)

Að móta hegðun hjá lífveru með hægfara námundum. Nánast öll flókin hegðun er tileinkuð í gegnum mótun.

Hlaðritari (cumulative recorder)

Tæki sem mælir tíðni virkrar hegðunar á rannsóknarstofum.

Í dag eru þessi tæki ekki notuð heldur tölvur.

Hlaðrit (cumulative record)

Mælingar í rauntíma á virkri hegðun

Mettun (satiation)

Tíðni svörunar minnkar af því að styrkirinn hefur birst það oft að áhrif hans minnka - t.d. fuglinn hefur fengið svo mikinn mat að hann er orðinn saddur og vill ekki meira

Týpísk svörun (response stereotypy)

Schwartz.

Mynstur svörunar sem er endurtekið aftur og aftur.

Rannsókn á response stereotypy

Schwartz.

Námsmenn þróuðu með sér dæmigerða svörun - um leið og þeir náðu réttu svari þá stöðvaðist breytileiki í hegðun.

Þegar þeir voru styrktir til að sýna breytileika í svörun þróuðu þeir með sér higher-order stereotypes.

Það má því segja að styrking hafi þvælst fyrir vandamálalausn hjá námsmönnunum af því að hún framleiddi response stereotypy.

Svar Neuringer við Schwartz

Response stereotypy.

Taldi að niðurstöðurnar hans væri ekki endanlegar.

Endurtók rannsókn Schwartz með timeout skilmála. Niðurstöður sýndi að hægt var að styrkja breytileika hjá dúfum og þær svöruðu nánast alveg tilviljanakennt.

Niðurstöðurnar benda því til þess að breytileiki sé virk hegðun.

Hliðarverkanir slokknunar

1. Slokknunartoppar
2. Sjálfkvæm endurheimt
3. Breytileiki í virkri hegðun
4. Styrkur svörunar
5. Tilfinningaleg svörun

Slokknunartoppur (extinction burst)

Aukning á hegðun sem verður eftir að slokknun hefst og er mælanleg út frá ýmsum víddum t.d. tíðni, styrk, lengd, breytileika o.fl.

Breytileiki í virkri hegðun (operant variability)

Virk hegðun verður sífellt breytilegri eftir því sem líður á slokknun, þar sem að breytileikinn eykur líkurnar á því að lífveran fái aftur styrkingu.

Rannsókn Antonitis

Þegar slokknunarferli var lokið og styrking var síðan sett aftur inn varð svörun rottu miklu dæmigerðari og fastari.

Styrkur svörunar (force of response)

Styrking getur verið háð styrk svörunar og það leiðir til breytileika í svörun (response differentiation).

Breytileiki í styrk verður miklu meiri á meðan slokknun stendur. Gæti verið vegna tilfinningalegra viðbragða við slokknunarferlinu.

Tilfinningaleg svörun (emotional responses)

Verður oft í slokknun, ýgi er mjög algeng tilfinningasvörun í slokknun

Ýgi í slokknun

Tvær dúfur voru settar saman í búr, hegðun annarrar þeirra var sett á slokknun og árásir á hina dúfuna urðu í næstum 50% tilvika.

Þegar aðrir ferlar (t.d. differential reinforcement) voru samhliða slokknun minnkaði þessi ýgi. Það ætti því að nota einhverja styrkingu samhliða slokknun til að minnka slæm áhrif slokknunar.

Aðgreind slokknun (descriminative extinction)

Greinireiti (S∆) gefur merki um slokknunartímabil. Á þessum tímabilum ætti svartíðni að lækka.

Viðnám við slokknun (resistance to extinction)

Hversu lengi tíðni hegðunar viðhelst þrátt slokknun

* Viðnám við slokknun eykst þegar virkjar eru styrktir oft
* Viðnám við slokknun nær sínu hámarki eftir 50 - 80 styrktar svaranir
* Skilyrt greinireiti hafa einnig áhrif á styrk viðnáms

Skertur styrkingarháttur (intermittent schedule of reinforcement)

Aðeins sum svör eru styrkt. Erfiðara að slökkva á svörum sem hafa verið kennd svona, vegna þess að aðgreining er minni en í sístyrkingu.

Partial reinforcement effect (PRE)

Nevin.

Útkoma styrkingar og slokknunar.

Því oftar sem svar er styrkt því meira er viðnám þess gagnvart breytingu, sístyrking býr því til meira viðnám við breytingu heldur en skert styrking.

Gengur hinsvegar ekki alveg upp þar sem að slokknun er hraðari þegar hegðun hefur verið sístyrkt, þannig getum gengið út frá því að aðgreining milli styrkingar og slokknunar er meiri í sístyrkingu heldur en í skertri styrkingu.

Sjálfkvæm endurheimt (spontaneous recovery)

Skilyrt svörun verður þó að slokknun hafi átt sér stað fyrr.

Er í raun ekki sjálfkvæm heldur verður vegna vísbenda um skilyrt áreiti sem hafa áður vakið SS.

Reinstatement

Endurheimt hegðunar þegar styrkirinn er birtur einn og sér eftir slokknunartímabil

Rannsókn Baker, Steinwald og Bouton

Styrking sem var óháð svörun virkjar frekar greinireiti úr upprunalega námsumhverfinu sem hafði áður stillt upp aðstæðum fyrir styrkta hegðun

Endurnýjun (renewal)

Endurheimt svars þegar lífveran er fjarlægð úr slokknunarumhverfi

Slokknun vs. að gleyma

Rottur sem höfðu farið á slokknun eftir 45 daga vissu enn hvernig þær áttu að ýta á stöng til að fá mat, þannig þær höfðu ekki gleymt því.

Viðnám við slokknun er greinilega minnkuð yfir tíma, en hegðun sem er well-established gleymist ekki.