Detail předmětu

Bayesovské modely pro strojové učení (v angličtině)

FIT-BAYaAk. rok: 2020/2021

Teorie pravděpodobnosti a rozdělení pravděpodobnosti, Bayesovská Inference, Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi, Inference v Bayesovských sítích, Expectation-Maximization algoritmy, Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování, Inference pomocí variačního Bayese (VB), Stochastický VB, Modely s nekonečným počtem směsných komponentů, Dirichletovy procesy, Chinese Restaurant procesy, Pitman-Yor proces pro modelování jazyka, Šíření očekávání, Gaussovské procesy, Auto-Encoding Variational Bayes, Praktické aplikace bayesovské inference

Garant předmětu

doc. Ing. Lukáš Burget, Ph.D.

Zajišťuje ústav

Ústav počítačové grafiky a multimédií (UPGM)

Nabízen zahradničním studentům

Všech fakult

Doporučená nebo povinná literatura

http://www.fit.vutbr.cz/study/courses/BAYa/public/
C. Bishop: Pattern Recognition and Machine Learning, Springer, 2006
S. J. Gershman and D.M. Blei: A tutorial on Bayesian nonparametric models, Journal of Mathematical Psychology, 2012.
P Orbanz: Tutorials on Bayesian Nonparametrics: http://stat.columbia.edu/~porbanz/npb-tutorial.html
D.P. Kingma, M. Welling: Auto-Encoding Variational Bayes, ICLR, Banff, 2014

Způsob a kritéria hodnocení

  • půlsemestrální zkouška (24b)  
  • odevzdání a presentace projektu (25b) 
  • semestrální zkouška 51b.

Jazyk výuky

angličtina

Cíl

Demonstrovat omezení hlubokých neuronových sítí (DNN), které se staly velmi populární v mnoha oborech, ale fungují dobře jen v případě dostatečného množství dobře popsaných trénovacích dat. Presentovat Bayesovské modely (BM) umožňující činit spolehlivá rozhodnutí i v případech omezených dat, jelikož berou v úvahu nepřesnosti v odhadu parametrů modelu. Zavést koncept latentních proměnných, které činí BM modulárními (komplexní modely mohou být tedy rozloženy na jednodušší) a vhodné pro případy s chybějícími daty (např. trénování bez učitele v případě chybějících popisů dat). Uvést základní vědomosti a intuice k BM a pokročit ke složitějším tématům: techniky přibližné inference nutné pro složité modely, modely s nekonečným množstvím směsných komponentů v neparametrických BM, nebo Auto-Encoding Variational Bayes. Kurs je veden v angličtině.

Zařazení předmětu ve studijních plánech

  • Program IT-MGR-2 magisterský navazující

    obor MGMe , libovolný ročník, zimní semestr, 5 kreditů, povinně volitelný

  • Program MITAI magisterský navazující

    specializace NBIO , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NISD , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NISY , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NIDE , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NCPS , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NSEC , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NMAT , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NGRI , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NNET , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NVIZ , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NSEN , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NMAL , libovolný ročník, zimní semestr, 5 kreditů, povinný
    specializace NHPC , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NVER , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NEMB , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NADE , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NSPE , libovolný ročník, zimní semestr, 5 kreditů, volitelný

  • Program IT-MGR-1H magisterský navazující

    obor MGH , libovolný ročník, zimní semestr, 5 kreditů, doporučený

Typ (způsob) výuky

 

Přednáška

26 hod., nepovinná

Vyučující / Lektor

doc. Ing. Lukáš Burget, Ph.D.

Osnova

  1. Teorie pravděpodobnosti a rozdělení pravděpodobnosti. 
  2. Bayesovská Inference (apriorní pravděpodobnosti, nejasnost odhadu parametrů, předpovězená hodnota posteriorních pravděpodobností)
  3. Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi. 
  4. Inference v Bayesovských sítích (loopy belief propagation)
  5. Expectation-Maximization algoritmy (s aplikacemi na Gaussovské směsné modely)
  6. Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování 
  7. Inference pomocí variačního Bayese (VB), Stochastický VB 
  8. Modely s nekonečným počtem směsných komponentů. Dirichletovy procesy. Chinese Restaurant procesy 
  9. Pitman-Yor proces pro modelování jazyka. 
  10. Šíření očekávání (expectation propagation) 
  11. Gaussovské procesy 
  12. Auto-Encoding Variational Bayes 
  13. Praktické aplikace bayesovské inference

Cvičení odborného základu

13 hod., povinná

Vyučující / Lektor

Ing. Murali Karthick Baskar
Mireia Diez Sánchez, M.Sc., Ph.D.
Mgr. Lucas Antoine Francois Ondel

Osnova

Demonstrační cvičení budou následovat okamžitě po přednáškách a budou obsahovat příklady, především v Pythonu. Kód a data pro příklady budou k dispozici studentům a budou tvořit základ projektu.

Projekt

13 hod., povinná

Vyučující / Lektor

Ing. Murali Karthick Baskar
Mireia Diez Sánchez, M.Sc., Ph.D.
Mgr. Lucas Antoine Francois Ondel

Osnova

Projekt bude následovat demonstrační cvičení, jeho náplní bude zpracování poskytnutých reálných nebo simulovaných dat. Studenti budou pracovat v týmech v "evaluačním" módu a presentovat své výsledky na poslední přednášce/cvičení.