Detail předmětu

Bayesovské modely pro strojové učení (v angličtině)

FIT-BAYaAk. rok: 2020/2021

Teorie pravděpodobnosti a rozdělení pravděpodobnosti, Bayesovská Inference, Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi, Inference v Bayesovských sítích, Expectation-Maximization algoritmy, Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování, Inference pomocí variačního Bayese (VB), Stochastický VB, Modely s nekonečným počtem směsných komponentů, Dirichletovy procesy, Chinese Restaurant procesy, Pitman-Yor proces pro modelování jazyka, Šíření očekávání, Gaussovské procesy, Auto-Encoding Variational Bayes, Praktické aplikace bayesovské inference

Garant předmětu

doc. Ing. Lukáš Burget, Ph.D.

Zajišťuje ústav

Ústav počítačové grafiky a multimédií (UPGM)

Nabízen zahradničním studentům

Všech fakult

Doporučená nebo povinná literatura

http://www.fit.vutbr.cz/study/courses/BAYa/public/
C. Bishop: Pattern Recognition and Machine Learning, Springer, 2006
S. J. Gershman and D.M. Blei: A tutorial on Bayesian nonparametric models, Journal of Mathematical Psychology, 2012.
P Orbanz: Tutorials on Bayesian Nonparametrics: http://stat.columbia.edu/~porbanz/npb-tutorial.html
D.P. Kingma, M. Welling: Auto-Encoding Variational Bayes, ICLR, Banff, 2014

Způsob a kritéria hodnocení

  • půlsemestrální zkouška (24b)  
  • odevzdání a presentace projektu (25b) 
  • semestrální zkouška 51b.

Jazyk výuky

angličtina

Cíl

Demonstrovat omezení hlubokých neuronových sítí (DNN), které se staly velmi populární v mnoha oborech, ale fungují dobře jen v případě dostatečného množství dobře popsaných trénovacích dat. Presentovat Bayesovské modely (BM) umožňující činit spolehlivá rozhodnutí i v případech omezených dat, jelikož berou v úvahu nepřesnosti v odhadu parametrů modelu. Zavést koncept latentních proměnných, které činí BM modulárními (komplexní modely mohou být tedy rozloženy na jednodušší) a vhodné pro případy s chybějícími daty (např. trénování bez učitele v případě chybějících popisů dat). Uvést základní vědomosti a intuice k BM a pokročit ke složitějším tématům: techniky přibližné inference nutné pro složité modely, modely s nekonečným množstvím směsných komponentů v neparametrických BM, nebo Auto-Encoding Variational Bayes. Kurs je veden v angličtině.

Zařazení předmětu ve studijních plánech

  • Program IT-MGR-2 magisterský navazující

    obor MGMe , libovolný ročník, zimní semestr, 5 kreditů, povinně volitelný

  • Program MITAI magisterský navazující

    specializace NBIO , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NISD , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NISY , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NIDE , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NCPS , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NSEC , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NMAT , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NGRI , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NNET , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NVIZ , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NSEN , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NMAL , libovolný ročník, zimní semestr, 5 kreditů, povinný
    specializace NHPC , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NVER , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NEMB , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NADE , libovolný ročník, zimní semestr, 5 kreditů, volitelný
    specializace NSPE , libovolný ročník, zimní semestr, 5 kreditů, volitelný

  • Program IT-MGR-1H magisterský navazující

    obor MGH , libovolný ročník, zimní semestr, 5 kreditů, doporučený

Typ (způsob) výuky

 

Přednáška

26 hod., nepovinná

Vyučující / Lektor

doc. Ing. Lukáš Burget, Ph.D.

Osnova

  1. Teorie pravděpodobnosti a rozdělení pravděpodobnosti. 
  2. Bayesovská Inference (apriorní pravděpodobnosti, nejasnost odhadu parametrů, předpovězená hodnota posteriorních pravděpodobností)
  3. Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi. 
  4. Inference v Bayesovských sítích (loopy belief propagation)
  5. Expectation-Maximization algoritmy (s aplikacemi na Gaussovské směsné modely)
  6. Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování 
  7. Inference pomocí variačního Bayese (VB), Stochastický VB 
  8. Modely s nekonečným počtem směsných komponentů. Dirichletovy procesy. Chinese Restaurant procesy 
  9. Pitman-Yor proces pro modelování jazyka. 
  10. Šíření očekávání (expectation propagation) 
  11. Gaussovské procesy 
  12. Auto-Encoding Variational Bayes 
  13. Praktické aplikace bayesovské inference

Cvičení odborného základu

13 hod., povinná

Vyučující / Lektor

doc. Ing. Lukáš Burget, Ph.D.

Osnova

Demonstrační cvičení budou následovat okamžitě po přednáškách a budou obsahovat příklady, především v Pythonu. Kód a data pro příklady budou k dispozici studentům a budou tvořit základ projektu.

Projekt

13 hod., povinná

Vyučující / Lektor

doc. Ing. Lukáš Burget, Ph.D.

Osnova

Projekt bude následovat demonstrační cvičení, jeho náplní bude zpracování poskytnutých reálných nebo simulovaných dat. Studenti budou pracovat v týmech v "evaluačním" módu a presentovat své výsledky na poslední přednášce/cvičení.