Teorija informacija i izvorno kodiranje (ETF TKO TIK 2355)

Opšte informacije

Naziv kursa

Teorija informacija i izvorno kodiranje

Oznaka (šifra) predmeta

ETF TKO TIK 2355

Studij

ETF-B

Odsjek

Telekomunikacije

Godina

2

Semestar

3

Tip

Obavezni

ECTS

5

Ukupno sati nastave

55

Sati predavanja

35

Sati vježbi

6

Sati tutorijala

14

Cilj kursa - Znanje i vještine koje treba postići student
  Studenti stiču osnovna teorijska i praktična znanja iz oblasti teorije informacija i izvornog kodiranja u obimu koji je zastupljen na većini svjetskih univerziteta. Prethodno je neophodno da se na početku kursa upoznaju sa relevantnim probabilističkim pojmovima i tehnikama. 
Na laboratorijskim vježbama studenti se upoznaju sa MATLAB programskim paketom . 

Program
  1.Vjerovatnost. 
2.Slučajne varijable, raspodjele vjerovatnosti. Funkcija gustoće vjerovatnosti, kumulativna funkcija raspodjele. Srednje vrijednosti i ostali statistički parametri. 
3.Transformacija slučajnih varijabli. 
4.Višekomponentne slučajne varijable. Uslovne gustoće vjerovatnosti. 
5.Važnije diskretne i kontinualne raspodjele vjerovatnosti: binomna, Poissonova, normalna, eksponencijalna. Svojstva normalne raspodjele vjerovatnosti, centralni granični teorem. 
6.Diskretni izvori informacije, količina informacije, entropija. Svojstva entropije. 
7.Entropija kontinualnog izvora. Uslovne entropije, uzajamna količina informacije. 
8.Proširenja izvora, izvori bez memorije. Izvori sa memorijom - izvori Markova, ergodični izvori. Entropija izvora Markova, izvori višeg reda. 
9.Kodiranje, osnovni pojmovi. Prefiksni kodovi, Kraftova nejednakost. 
10.Statističko kodiranje, optimalno statističko kodiranje. Kodiranje proširenog izvora. Prvi Shannonov teorem. Shannon-Fano kod, Huffmanov kod. 
11.Statistički model kanala. Primjer: kontinualni kanal sa aditivnim Gaussovim šumom. Drugi Shannonov teorem, osnovni pojmovi o zaštitnom kodiranju.

Literatura
Obavezna1.Bilješke i slajdovi s predavanja (moći će se preuzeti na WEB siteu Fakulteta); 
2.K. Suruliz i M. Hadžialić, Statistička teorija telekomunikacija (u pripremi);
Preporučena1.D. Drajić, Uvod u teoriju informacija i kodovanje, Akademska misao, 2004.  
2.Papoulis, Probability, Random variables and Stochastic Processes, 4th edition, McGraw-Hill, New York 1993. 
3.J.G. Proakis, Digital Communications, 4th Edition, McGraw-Hill, New York 2001.

Didaktičke metode
  Predavanja se izvode direktno u sali i praćena su rješavanjem karakterističnih zadataka iz odgovarajuće oblasti na način koji omogućava da studenti ovladaju znanjima i vještinama koje treba postići u okviru ovoga kursa.  
Kroz tutorijal se, pod vođenjem i pratnjom asistenta - tutora, rješavaju i drugi zadaci, tako da studenti što potpunije ovladaju instrumentima i metodologijom izrade zadataka. To ima za cilj da doprinese razvijanju sposobnosti studenata u rješavanju praktičnih problema i snalaženja u konkretnim situacijama. 
Vježbe u laboratoriji, pod voDstvom tutora, imaju za cilj da studenti pomoću MATLAB programskog paketa provjere znanja stečena tokom predavanja. Vježbe su organizovane tako da svaki student ima na raspolaganju personalni računar, na kojem obavlja predviđene aktivnosti. 

Način provjere znanja
  Tokom trajanja kursa student prikuplja bodove prema slijedećem sistemu: 
- prisustvo satima predavanja i tutorijala: 10 bodova, student koji više od tri puta izostane s predavanja i/ili tutorijala ne može ostvariti bodove po ovoj osnovi; 
- izrada domaćih zadaća i laboratorijske vježbe: maksimalno 10 bodova; predviđena je izrada 5 domaćih zadaća ravnomjerno raspoređenih tokom tutorijala, koje nose do 5 bodova; uspješno obavljene laboratorijske vježbe takođe nose do 5 bodova. 
- parcijalni ispiti: dva pismena parcijalna ispita, pri čemu svaki parcijalni ispit donosi do 20 bodova; 
Parcijalni ispit traje 90 minuta i struktuiran je na slijedeći način: 
- odgovori na jednostavna pitanja čiji je cilj provjeriti da li student vlada osnovnim teorijskim znanjima; student koji tačno odgovori na sva postavljena pitanja ostvaruje 5 bodova; 
- rješavanje zadataka za koje je unaprijed dano više odgovora od kojih je jedan tačan; student koji tačno odgovori na sve postavljene zadatke ostvaruje 5 bodova; 
- rješavanje jednog zadatka s otvorenim odgovorom; tačno urađen zadatak donosi 10 bodova. 
Student koji je tokom trajanja semestra ostvario manje od 20 bodova ponovno upisuje ovaj kurs. 
Student koji je tokom trajanja semestra ostvario 40 i više bodova pristupa usmenom završnom ispitu; ovaj ispit sastoji se iz diskusije zadataka s parcijalnih ispita, domaćih zadaća i odgovora na jednostavna pitanja koja se odnose na teme kursa.  
Usmeni završni ispit donosi maksimalno 40 bodova. Da bi postigao pozitivnu završnu ocjenu, student na ovom ispitu mora ostvariti minimalno 20 bodova. Student koji ne ostvari ovaj minimum pristupa usmenom dijelu popravnog ispita. 
Student koji je tokom trajanja semestra ostvario 20 i više bodova, a manje od 40 bodova, pristupa popravnom ispitu. Popravni ispit struktuiran je na slijedeći način: 
- pismeni dio koji je struktuiran na isti način kao i pismeni parcijalni ispit; u okviru ovog ispita student polaže zadatke iz tema za koje nije postigao prolaznu ocjenu (10 i više bodova) polažući parcijalne pismene ispite, 
- usmeni dio koji je struktuiran na isti način kao usmeni dio završnog ispita. 
Usmenom dijelu popravnog ispita može pristupiti student koji je nakon polaganja pismenog dijela popravnog ispita uspio ostvariti ukupan skor od 40 i više bodova; ovaj skor sastoji se od bodova ostvarenih kroz: prisustvo nastavi, izradu domaćih zadaća, polaganje parcijalnih ispita i polaganje pismenog dijela popravnog ispita. 
Usmeni popravni ispit donosi maksimalno 40 bodova. Da bi postigao pozitivnu završnu ocjenu student na ovom ispitu mora ostvariti minimalno 20 bodova. Student koji ne ostvari ovaj minimum ponovno upisuje ovaj kurs.

Napomene
  Prilikom polaganja pismenog ispita, student može koristiti od strane nastavnika pripremljenu listu formula koje mogu biti od koristi prilikom rješavanja zadataka. Nije dozvoljeno korištenje drugih bilješki, knjiga, mobilnih telefona niti drugih elektronskih pomagala, osim džepnog elektronskog kalkulatora. 
Zadaci koje student treba riješiti na ispitu su istog tipa kao oni rješavani tokom izvođenja predavanja i tutorijala.