KTN kap. 9 - Multimedia Networking

multimedia

data som inneheld lyd, video eller begge delar, og som krev tidskritisk overføring.

analog audio signal

Eit kontinuerleg signal der lyd blir representert som varierande bølgjer (amplitude over tid).

Kva betyr kvantisering av lyd?

det betyr at kvar måling blir avrunda til ein avgrensa verdi representert med bit.

konsekvensen av kvantisering

litt kvalitetstap (kvantiseringfeil)

sampling rate

= samples/sec

Talet på målingar (samples) per sekund av eit analogt signal, målt i Hz.

samples

Enkeltmålingar av amplituden til eit analogt lydsignal på bestemte tidspunkt.

quantization error

Forskjellen mellom den originale analoge verdien og den avrunda (kvantiserte) verdien.

quantized value of analog value

Den avrunda digitale verdien som representerer ein målt (sampled) analog verdi.

Korleis heng sampling og kvantisering saman?

Sampling tek målingar av signalet over tid, medan kvantisering avrundar desse målingane til digitale verdiar.

Kvifor fører kvantisering til kvalitetstap?

Fordi eksakte verdiar blir avrunda til næraste nivå.

Kva avgjer bithastigheita til lyd?

Det blir bestemt ut i frå samplingrate og antall bit per sample.

digital video

en sekvens av digitale bilder (frames), der hvert bilde består av piksler representert med biter, vist i rask rekkefølge.

frames

Enkeltbilder som vises raskt etter hverandre for å skape bevegelse.

temporal koding

en metode som reduserer datamengde ved å bare sende endringer mellom bilder.

CBR (Constant Bit Rate)

en fast bitrate der data sendes med samme hastighet hele tiden.

VBR (Variable Bit Rate)

en variabel bitrate som tilpasser seg innholdet og bruker mer eller mindre data etter behov.

redundans (redundancy)

= overflødig informasjon

informasjon som gjentas eller er unødvendig, og som kan fjernes for å redusere datamengden

Hva betyr “coding” i video?

det betyr å utnytte redundans i og mellom bilder for å redusere antall biter som trengs.

dei tre hovudtypane multimedia-applikasjonar

1. streaming stored content (lagra innhald)

2. conversational voice/video (VoIP)

3. live streaming

streaming stored video

Video blir spela av medan resten av fila framleis blir overført frå serveren (utan å vente på full nedlasting).

conversational voice/video over IP

Sanntids, interaktiv lyd- og videokommunikasjon over internett med krav om lav forsinkelse.

streaming live audio, video

Overføring av lyd eller video i sanntid mens det produseres, uten at det lagres først.

Kvifor treng klienten buffer ved streaming av lagra video?

Fordi data kan bli sendt raskare enn det blir spelt av.

hovudideen bak streaming

Sending av data og avspeling skjer samtidig, slik at brukaren slepp å vente på full nedlasting.

Kva betyr “playout” i streaming?

Det er sjølve avspelinga av videoen hos klienten i same tempo som originalen.

“network delay” i streaming

forsinkinga frå videoen blir sendt frå server til han blir mottatt hos klienten.

client buffer

Eit mellomlager hos klienten som held videodata før dei blir spela av.

Kva betyr at videoen har ein konstant playout rate?

At videoen må spelast av med fast tempo (t.d. 30 frames per sekund).

Kvifor blir det lagt inn ein startforsinking før videoavspeling begynner i streaming?

For å fylle opp bufferen slik at avspelinga kan gå jamnt utan avbrot, sjølv om nettverket varierer.

continuous playout constraint

videoen spelast av i same tempo som originalen utan stopp når avspelinga først har starta.

Kvifor er “continuous playout” ein utfordring i nettverk?

Fordi nettverksforsinking varierer (jitter), medan avspelinga krev jamn hastigheit.

packet jitter

variasjon i end-to-end delay mellom datapakker som sendes etter hverandre i en datastrøm.

Kva utfordringar gir brukarinteraksjon i streaming?

Handlingar som pause, spol fram/tilbake og hopping krev rask tilpassing av datalevering.

Kva skjer dersom datapakkar går tapt i streaming?

Det kan føre til redusert kvalitet eller behov for retransmisjon.

Kvifor er pakkatap ei utfordring for video?

det er ein utfordring fordi manglande data kan gi hakking eller feil i avspelinga.

hovudutfordringane i streaming av stored video

• Jitter

• krav om jamn avspeling

• brukarinteraksjon

• pakkatap.

playout delay

ein planlagt forsinking før avspeling startar for å fylle opp bufferen.

Formålet med playout delay

Målet er å eliminere jitter; ved å vente litt før avspilling, kan mottakaren glatte ut ujamne ankomsttider slik at lyden blir samanhengande og ikkje hakkete.

constant bit rate video transmission

det betyr at videoen blir sendt frå server med jamn og fast bitrate.

client video reception

Prosessen der klienten mottar videodata frå nettverket.

constant bit rate playout

det betyr at videoen blir spela av hos klienten med konstant hastigheit.

Kva problem løyser buffering i streaming?

Det hindrar avbrot i video ved å jamne ut variasjonar i nettverket.

Kva er fill rate x(t) i streaming?

Hastigheten nettverket klarer å levere data inn i bufferen med (målt i Mbps).

playout rate r

den konstante hastigheita videoen blir spela av hos klienten.

buffer fill level Q(t)

mengda data som til ein kvar tid ligg lagra i bufferen.

Kvifor varierer buffer-nivået over tid ved streaming?

Det varier fordi innkommande datarate varierer, medan avspelingsraten er konstant.

Kva skjer dersom fill rate (x) er lågare enn playout rate ( r ) ?

bufferen blir gradvis tømt og det kan føre til at videoen frys fordi data blir brukt raskare enn dei blir leverte.

Kva skjer dersom fill rate er høgare enn playout rate?

Buffera fyllest opp og held seg stabil så lenge kapasiteten er stor nok.

Kvifor kan video stoppe ved streaming sjølv om data blir sendt kontinuerleg?

det kan stoppe fordi data kjem for sakte i forhold til avspelingshastigheita.

buffer starvation

Når bufferen går tom og videoen må stoppe midlertidig.

initial playout delay

ventetida før video startar, for å fylle opp bufferen.

Kva kjenneteiknar streaming over UDP?

Data blir sendt utan påliteleg leveranse, med fokus på låg forsinking i staden for perfekt kvalitet.

Kva bestemmer sendefarten i UDP streaming?

den blir vanlegvis bestemt av encoding rate (bitrate) til multimedia-innhaldet, ikkje av nettverket.

encoding rate

bitraten video eller lyd blir komprimert og produsert med, altså kor mange bit per sekund som blir generert.

fordel med UDP for multimedia

Låg forsinking gjer det godt eigna for sanntidsapplikasjonar.

ulempe med UDP for streaming

Pakkar kan gå tapt utan retransmisjon, som kan redusere kvaliteten.

Korleis blir jitter handtert ved bruk av UDP?

Det blir handtert ved å bruke client-side buffering og playout delay.

fordelen med å ikkje ha retransmisjon i UDP ved jitter

Det reduserer forsinking, slik at data kjem i tide, i staden for å vente på gamle pakkar som kan bli ubrukelige i sanntidsapplikasjonar.

RTP (Real-time Transport Protocol)

ein protokoll som blir brukt over UDP for å sende multimedia-data (lyd og video) i sanntid.

hovudoppgåva til RTP

Å legge til informasjon som tidsstempel og sekvensnummer for å støtte korrekt avspeling.

Kvifor treng ein RTP i tillegg til UDP?

Fordi UDP ikkje gir struktur eller kontroll for multimedia, medan RTP gjer det mogleg å handtere rekkefølgje og timing.

Kva hjelper tidsstempel i RTP med?

Å synkronisere avspeling av lyd og video.

Kva blir sekvensnummer brukt til i RTP?

det blir brukt til å oppdage tapte eller feil rekkefølgje på pakkar.

Brukar RTP retransmisjon for å rette feil?

Nei, RTP fokuserer på sanntid og toler nokre tap i staden for å skape forseinking.

multimedia payload types

ein identifikator i RTP som fortel kva type media og koding (codec) som blir sendt i pakken.

Kvifor kan UDP bli blokkert av firewalls?

fordi UDP er connectionless og manglar kontrollmekanismer, go blir derfor sett på som mindre trygg trafikk

Tek UDP omsyn til congestion i nettverket?

Nei, UDP kan sende data utan å tilpasse seg nettverksbelastning.

Kvifor blir det brukt kort playout delay i UDP streaming?

det blir brukt for å redusere effekt av jitter og halde forsinkinga låg.

Korleis blir feil handtert i UDP streaming?

Feilretting skjer på applikasjonsnivå, dersom det er tid til det.

Korleis fungerer streaming av video over HTTP?

Klienten lastar ned videodata via HTTP medan avspeling skjer samtidig.

Kva rolle spelar TCP i HTTP streaming?

Det sørger for pålitelig levering og styrer sendefarten basert på nettverket.

Kvifor er dataraten variabel i HTTP streaming?

Fordi TCP tilpassar sendefarten etter congestion i nettverket.

Kvifor kan HTTP streaming føre til høgare forsinking enn UDP?

Fordi TCP bruker retransmisjon og congestion control som aukar forsinking.

Kvifor treng HTTP streaming større buffer enn UDP?

Fordi TCP gir ujamn datarate på grunn av congestion control og retransmisjonar, så bufferen må vere større for å sikre jamn avspeling.

Korleis påverkar retransmisjonar streaming over TCP?

Dei kan skape forsinking fordi tapte pakkar må sendast på nytt.

Kvifor er HTTP streaming meir robust enn UDP streaming?

Fordi TCP sikrar at alle data kjem fram korrekt og i riktig rekkefølgje.

Kvifor fungerer HTTP streaming godt gjennom firewalls?

Fordi det bruker vanlege portar (t.d. port 80/443) som ofte er opne.

Kva er bit rate i video?

Det er mengda data som blir brukt per sekund for å representere videoen.

Kva betyr høg bit rate for videokvalitet?

Høg bit rate gir betre biletkvalitet og mindre komprimering.

Kva ulempe har høg bit rate mtp video?

Det krev meir bandbreidde og kan føre til buffering ved dårleg nettverk.

Kva skjer dersom nettverket ikkje støttar bit raten til videoen?

Videoen kan stoppe, hakke eller gå ned i kvalitet.

forskjellen på høg og låg bit rate video

Høg bit rate gir betre kvalitet, medan låg bit rate gir dårlegare kvalitet men mindre databruk.

video compression

ein metode for å redusere datamengda i video ved å fjerne redundans.

Kvifor bruker ein video compression?

det brukes for å redusere lagringsbehov og krav til bandbreidde.

målet med video compression

målet er å oppnå minst mogleg datamengde utan for stort kvalitetstap.

Spatial Redundancy

Overflødig informasjon innad i ett enkelt bilde som oppstår fordi piksler som ligger nær hverandre ofte har nesten identisk farge og lysstyrke (f.eks. en blå himmel).

Temporal Redundancy

Overflødig informasjon over tid i en videostrøm som oppstår fordi store deler av bildet (f.eks. bakgrunnen) forblir uendret fra én ramme til den neste

quantization

prosessen der hver innsamlede lydprøve rundes av til nærmeste verdi i et forhåndsdefinert, begrenset sett med digitale nivåer.

Pulse Code Modulation (PCM)

standardmetoden som brukes for å gjøre om analoge lydbølger til digitale data ved å måle lydstyrken med jevne mellomrom og lagre verdiene som binære tall.

PCM steg for steg

1. Sampling: Man tar "stikkprøver" av lydbølgen mange tusen ganger i sekundet.

2. Quantization: Hver prøve rundes av til nærmeste verdi på en skala.

3. Encoding: Disse verdiene gjøres om til 0-er og 1-ere som datamaskinen forstår.

Advanced Audio Coding (AAC)

en moderne standard for digital lydkomprimering som er utviklet for å være etterfølgeren til MP3, og som gir bedre lydkvalitet ved samme filstørrelse.

streaming

en metode for å overføre data (video eller lyd) som en kontinuerlig strøm over nettet, slik at du kan begynne å se eller høre innholdet umiddelbart uten å måtte laste ned hele filen først.

Voice-over-IP (VoIP)

en teknologi som lar deg ringe og motta telefonsamtaler over internett (IP-nettverk) i stedet for gjennom tradisjonelle kobberledninger eller mobilnettet

Kva kjenneteiknar Voice-over-IP (VoIP)?

Tale blir digitalisert, delt opp i pakkar og sendt over IP-nettverk i sanntid.

Kva forsinkingsnivå er akseptabelt for god VoIP-oppleving?

Under ca. 150 ms gir god interaktivitet.

Kvifor er låg forsinking kritisk i VoIP?

Det er kritisk fordi samtalar krev naturleg flyt utan merkbar ventetid.

Delay-sensitive

data eller tjenester som er helt avhengige av minimal ventetid for å fungere skikkelig, der selv små forsinkelser gjør tjenesten ubrukelig eller irriterende.

Conversational multimedia applications

sanntidstjenester for kommunikasjon mellom mennesker, der både lyd og bilde må overføres med ekstremt lav forsinkelse for å opprettholde en naturlig flyt.

Loss-tolerant

data eller applikasjoner som kan fungere tilfredsstillende selv om deler av informasjonen (datapakker) forsvinner underveis i overføringen.

Hva er den fundamentale forskjellen mellom VoIP og tradisjonell telefoni?

Tradisjonell telefoni bruker linje switching, der en dedikert linje holdes åpen for samtalen.

VoIP bruker pakke switching, der lyden deles opp i datapakker og sendes over internett sammen med annen trafikk.