college 4

Flashcards met belangrijke termen en definities met betrekking tot conditionering en leren.

Conditionering def + vorm geheugen

Het proces waarin een organisme leert associaties te maken tussen stimuli en reacties.

Beide zijn vormen van associatief leren en geheugen

Klassieke conditionering (“Pavloviaanse”)

Een leerproces waarbij een neutrale stimulus voorspellende waarde krijgt door associatie met een ongeconditioneerde stimulus.

Operante conditionering

Een leerproces waarin een organisme leert een actie te ondernemen om een bepaalde uitkomst te verkrijgen of te vermijden.

klassieke conditionering uitgebreid hond + 2 soorten

voor conditionering

unconditioned stimulus = zonder voorwaarde bijv eten,

unconditioned rosponse = kwijlen door eten

neutral stimulus = bepaalde stimuli zijn neutraal, bijv fluitje, voordat er iets mee wordt aangeleerd, geeft ook geen respons

tijdens conditionering

unconditioned respons = neutrale en unconditioned stimulus worden tegelijk aangeboden, associatie = fluit > eten

na conditionering 

conditioned stimulus = associatie zo sterk dat fluit zorgt voor kwijlen

conditioned respons = kwijlen door fluit

Appetitieve conditionering: US is positief

Aversieve conditionering: US is negatief

Aversieve klassieke conditionering experiment muis

rat op gaas, geluid > voorspelt stroom komt te lopen over gaas

voor

US : footschock 

UR : startle response

na

CS : toon

CR : freezing (kan kwalitatief verschillen van ur)

bijzonder : werkt heel snel, gebeurd al na 10 trails

heel sterk mechanisme

Aversieve klassieke conditionering konijn

airpuff in oog van konijn

werkt precies hetzelfde, iets diervriendelijker

CS = toon

US = airpuff

UR = knipperen, daarna door CS CR

Aversieve klassieke conditionering konijn conclusie na hoeveel dagen

toon een bepaalde tijd, op het eind die airpuff

dag 1 op toon niks, airpuff aanbiedt = knipperen 

dag 3 al beetje reactie voor US

dag 5 al met ogen begint te knipperen voor US » CR eerder plaatsvindt dan US

airpuff minder aversief dan eten dus duurt iets langer qua trails 

extinctie + context

na het leerproces eigenlijk klaar is = stippellijn

alleen CS aabieden, maar nooit meer US, verliest die CS zijn voorspellende waarde, neemt dus weer af, belangrijk ; niet helemaal terug naar 0, af en toe toch een beetje in anticipatie,

andere manierr : op trail 90 1x US weer toe te voegen » schiet weer helemaal naar boven = riant statement?

context belangrijk : bepaald kamertje die er zo uit ziet associatie geleerd, extincie in ander kamertje, vweer terug in eerste ruimte, weerr sterrk die CR

veergelijkbaar met verslaving

oude CS-US associatie blijft intact!

omgeving als CS + probleem

in kamer af en toe schrok ; associeert die omgeving met schrok

maar… onze wereld bestaat uit allerlei dingen?? wat met wat associeren?

twee CS-en bij muis

wat met wat associeren?

geluid + lampje

testfase beide == 100% freezing

maar bij testfase = alleen toon/geluidje » 50% freezing

salientie vd stimulus maakt uit?

• hoe opvallend/onopvallend aanwezig een stimulus is voor het organisme

toon heel luid, lampje heel klein bij leerfase

geluid veel meer

lamp veel minder

twee cs en muis eerst 1 vd twee aangeleerd

toon met schrok > testfase

daarna tweede leerproces, lamp + toon >

wat in die testfase?

1; alleen toon = freezing

2; alleen lamp = helemaal niks

kamin’s blovking effect

tijdens leerfase 1 heeft toon 100% (freezing), maar de lamp heeft geen effect. Dit illustreert het fenomeen dat als een stimulus al geassocieerd is met een ongewenste gebeurtenis, een nieuwe stimulus (zoals de lamp) niet effectief zal zijn in het creëren van een associatie.

Conditioned Response (CR)

De reactie die wordt uitgelokt door een geconditioneerde stimulus na training.

Unconditioned Stimulus (US)

Een stimulus die een natuurlijke, ongeconditioneerde reactie teweegbrengt zonder eerdere training.

Rescorla-Wagner model

Een model dat beschrijft hoe de voorspellende waarde van een geconditioneerde stimulus wordt geëvalueerd aan de hand van de werkelijke ongeconditioneerde stimulus.

Tijdens leren krijgt de CS een voorspellende waarde over de US →Vcs. (voorspellende waarde van cs)

Na een trial wordt geëvalueerd of de Vcs klopt met de US.

Zo niet, dan wordt de Vcs aangepast.

De verandering (∆) van de Vcs is gerelateerd aan de werkelijke US – de voorspelde US (Vcs). Dit verschil heet de “prediction error”

verschil hier 0 is, hoef je blijkbaar neit te leren, kon je volledig voorspellen, error term = 0 = prediction error

Prediction Error

Het verschil tussen de voorspelde uitkomst en de werkelijke uitkomst, wat invloed heeft op het leerproces.

rescorla wagner model met het konijn

eerste moment

CS is nieuw == neutraal Vcs = 0

US treedt op

US = 100

Pe= US-Vcs

PE=100-0 = 100

trail 20 

Vcs= 100 

US = 100 

PE = 100-100=0

Rescorla-Wagner model formule

(labda-Vtot) == PE

b = learning rate us > parametriceert, zijn zo veel dingen om ons heen dat we niet oalles meteen 1:1 kunnen aannemen, maar als er echt vaker hetzelfde gebeurd dan kan dat wel, meer noradrenaline = sneller leren

alpa = salience van CS, geindexeerd met X

X = 1 bepaalde conditionele stimulus, dus bijv dat toontje

a*x*b krijg je een update term 

hoeveel je die voorspellende waarde, van die bepaalde condition stimulus, geindex met die X > moet worden geupdate

Rescorla-Wagner model model kan 2 dingen verklaren 

model kan 2 dingen verklaren 

1. karins blocking effect rechtsboven

toon = 100% Vcs, daarna lampjje, PE = 0 dus hoeft niks geleerd te worden

2. als een meer salient is dan ander : groter effect op CR

dat wordt beschreven door alfa

geeft ons de update term, die delta Vx

onze volgende voorspelling = onze huidige + update step

procedureel geheugen van model

wat er in zo’n experiment gebeurt

model zelde stimuli aanbiedt als konijn

dan zie je dus idd dat over trials heen die voorspelde waarde van een lampje bijvoorbeeld toeneemt, de PE af neemt

beta parameter kun je fitten aan het gedrag van een beest

Rescorla-Wagner model extinctie verklaren 

begin extinctie 

Vsc = 100, alles is al geleerd

US = 0 

PE 0-100=-100 wordt negatief!!

komt uit de formule negatief getal > betekent dat we die voorspellende waarde moeten afbouwen

Rescorla-Wagner model samenvatting resultaten

Rescorla-Wagner model waarom een model?

o Dwingt je na te denken over het mechanisme.

o Leidt daardoor tot nieuwe mechanistische ideeën.

o Geeft daardoor sturing aan de empirische wetenschap

Latent inhibition?

Vertraging in associatief leren door eerdere blootstelling aan een geconditioneerde stimulus zonder ongeconditioneerde stimulus.

Andere gebieden betrokken bij klassieke conditionering:

o Striatum

o Amygdala (H. Krugers: Emotioneel leren)

o Medial temporal lobe (boek)

Cerebellum en eye-blink conditionering circuit

circuit : sterk betrokken met eye blink conditionering van konijn

motorisch leren

type leren afh van dit circuit

US input (groen):

o Inferior olive

CS input (paars):

o Pontine nuclei

o Regio's selectief voor specifieke CS

CR output (rood)

o Nucleus Interpositus

Neurale activiteit van interpositus nucleus met UR: 

kunnen we daar activiteit meten die inderdaad indicatief is voor het plaatsvinden van klassiek conditioneren?

ja

NS = geen eyeblinks dus neutraal

vervolgens US aanbiedt krijg je hele sterke UR, maar eig helemaal niks extra’s in IN, » 

Sterke UR, maar nauwelijks extra activiteit. Betekent dat cerebellum niet betrokken is bij het genereren van een UR.

Neurale activiteit van interpositus nucleus dag 2 CR :

CS anticipatie op US eerder begint, ziet dat dat samengaat met veel activiteit, genereerd dus CR!!

Activiteit correleert met CR (eyeblink). Betekent dat cerebellum wel betrokken is 38 bij het genereren van een CR.

2 routes

US IO > CF == info van US > purkinje cellen 

CS in paars > mossy fibers > sensorische info > beinvloeden ook purkinje cellen > 

komen die twee stromen samen in purkinje cell

inhiberen interpositus

> hoe act purkinje cell, hoe minder actief interpostitus

Cerebellum en eye-blink conditionering Purkinje cell activiteit

constant vrij hoge firing rate baseline

associatie gevormd 

CS aangeboden, act naar beneden, als US wordt aangeboden > weer omhoog 

waarom neemt die activiteit af van purkinje cell?

signalen van climbing en mossy fibers samenkomen bij purkinje cells, zet proces in gang van LTD, synapsen, tussen parallel fibers en purkinje cellen minder efficient

na een tijdje CS alleen wordt aageboden niet g3enoeg meer die purkinje cells activeren? deactivatie ten opzichte van baseline

act in NI is een goede maat voor CR

Cerebellum en eye-blink conditionering IO

NI niet alleen eyeblink genereert

inhibeert ook inferior olive!!

Na leren, productie CR inhibeert de inferior olive.

Dus: activiteit inferior olive is: US – verwachte US

De prediction error!

Latent inhibition

model moeite mee heeft

controle groep :

experimentele groep : dier ook in ruimte, stimulus ook aangeboden maar geen US

leerfase 2

exp groep :: veel trager 

in beide gevallen zou je op 0 moeten beginnen, maar dat blijkt niet zo, lijkt alsof die ex groep wel associatieve toon met niks = duurt langer om dat eruit te halen, vorige geheugenspoor weg duwen

Vertraging in associatief leren door eerdere blootstelling aan CS

Niet enige model van conditionering

Rescorla – Wagner : US centraal

Hoe goed kan de US voorspeld worden ?

Andere benadering : CS central

In hoeverre kan een bepaalde stimulus geassocieerd raken met een uitkomst?

Verklaring voor “latent inhibition”

Samenvatting klassieke conditionering

o Stimulus – Stimulus associaties

o Uitkomst volgt automatisch (kan wel leren anticiperen)

o Conditioned Stimulus – Conditioned Response - Unconditioned Stimulus – Unconditioned Response

o CS en US kunnen op complexe manieren met elkaar in verband staan

o Rescorla-Wagner leerregel – prediction error

o Cerebellum zeer belangrijk voor eye-blink conditionering

Operante conditionering

Discriminative stimulus → Response →Outcome

wel invloed op de uitkomst!!

Reinforcers & punishers primary vs secundary

Primary reinforcers / punishments:

Intrinsieke waarde voor organisme (voedsel, water, sex, pijn, etc.)

Voorkeuren bepalen, verzadiging

Secondary reinforcers / punishers:

Missen de intrinsieke waarde maar verkrijgen waarde door associatie met primary reinforcer (geld, titels, bekeuring etc.)

Oneindige aantrekkingskracht, geen verzadiging

wetenschap probleem ;; dieren vooral primary reinforcement, maar bij mensen is secondary reinforcement… probleem als het echt belangrijke beloning voor mensen geld duur

Verschillende paradigma’s

reinforcement

positief

• prettige stimulus toe te voegen

• kamer opruimen zakgeld krijgen

negatieve 

• aversieve stimulus weg neemt

• aspirientje hoofdpijn weg > versterkt gedrag

heel krachtig!! kunt steeds complexer maken == shaping 

punishment 

positief

• boos wordt als kinderen ruzie maken

• minder ruzie maken

negatief

• fijne stimulus wegnemen

straffen is wel complex, met straffen leer je misschien wel hett ongewenste gedrag af, maar je leert niet zo goed wat mensen of dieren wel moeten doen!

soms duidelijk : te hard rijden boete

ruzie maken : miss minder ruzie maken, maar leert niet wat ze wel moeten doen

Straffen

Effectiviteit van straf:

o Stimuli gekoppeld aan straf

o Stimulus blijft noodzakelijk

o Misleiding (flitsmaster)

-

o Gelijktijdige beloning ondermijnt straf

o Hard rijden → leuk + boete, ondermijdt die straf

-

o Straf leidt tot variabel gedrag

-

o Initiële intensiteit bepalend

o Immuniteit voor progressief straffen, went er heel snel aan

Beloningsschema’s

Fixed interval:

o Reinforcer every x amount of time.

o Actie blijft nodig. 56

o E.g.: Quiz every Monday

als die maandag er aan komt meer gedrag neemt dan weer af

Variable interval:

o Reinforcer every x amount of time on average.

o Berichten op telefoon.

Fixed ratio:

o Reinforcer every nth response (mogelijk om ratio op te bouwen).

o Betaling per batch.

elke zoveel responses

betaling per batch

Variable ratio:

o Reinforcer every nth response on average.

o Onzekerheid levert regelmatig gedragspatroon op.

o “Misschien de volgende…” → gokken in het casino

gemiddeld heel onregelmatig

Orbitofrontale cortex en operante conditionering

Groot gebied, veel functies:

o Emotionele vlak

o Waarde geven aan opties

o Reward learning

o Beslissingen nemen

Orbitofrontale cortex en R-O associaties

l/r in figuur te zien

eerst links, links duwen beloning etc

MAAR icoon voorspelde ook welke beloning, water/iets lekkers

Orbitofrontale cortex en operante conditionering

ziet al activiteit zodra figuurtje wordt aangeboden, die activitiet helemaal neit afhankelijk van de beweging

in 1 neuron precies zelfde activiteit

andere figuur » geen activatie

geeft dus aan dat deze neuron speccifiek houdt van de beloning die een bepaalt figuur voorspelt 

Samenvatting

o Stimulus – Actie – Consequentie associaties.

o Actie moet worden uitgevoerd om consequentie te ervaren.

o Associaties zijn afhankelijk van de manier waarop beloning of straf wordt ingezet. o Oribitofrontale cortex, striatum en dopamine systeem betrokken bij conditionering (meer in boek)