Detail předmětu
Bayesovské modely pro strojové učení (v angličtině)
FIT-BAYaAk. rok: 2020/2021
Teorie pravděpodobnosti a rozdělení pravděpodobnosti, Bayesovská Inference, Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi, Inference v Bayesovských sítích, Expectation-Maximization algoritmy, Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování, Inference pomocí variačního Bayese (VB), Stochastický VB, Modely s nekonečným počtem směsných komponentů, Dirichletovy procesy, Chinese Restaurant procesy, Pitman-Yor proces pro modelování jazyka, Šíření očekávání, Gaussovské procesy, Auto-Encoding Variational Bayes, Praktické aplikace bayesovské inference
Garant předmětu
Zajišťuje ústav
Nabízen zahradničním studentům
Všech fakult
Doporučená nebo povinná literatura
http://www.fit.vutbr.cz/study/courses/BAYa/public/
C. Bishop: Pattern Recognition and Machine Learning, Springer, 2006
S. J. Gershman and D.M. Blei: A tutorial on Bayesian nonparametric models, Journal of Mathematical Psychology, 2012.
P Orbanz: Tutorials on Bayesian Nonparametrics: http://stat.columbia.edu/~porbanz/npb-tutorial.html
D.P. Kingma, M. Welling: Auto-Encoding Variational Bayes, ICLR, Banff, 2014
Způsob a kritéria hodnocení
- půlsemestrální zkouška (24b)
- odevzdání a presentace projektu (25b)
- semestrální zkouška 51b.
Jazyk výuky
angličtina
Cíl
Demonstrovat omezení hlubokých neuronových sítí (DNN), které se staly velmi populární v mnoha oborech, ale fungují dobře jen v případě dostatečného množství dobře popsaných trénovacích dat. Presentovat Bayesovské modely (BM) umožňující činit spolehlivá rozhodnutí i v případech omezených dat, jelikož berou v úvahu nepřesnosti v odhadu parametrů modelu. Zavést koncept latentních proměnných, které činí BM modulárními (komplexní modely mohou být tedy rozloženy na jednodušší) a vhodné pro případy s chybějícími daty (např. trénování bez učitele v případě chybějících popisů dat). Uvést základní vědomosti a intuice k BM a pokročit ke složitějším tématům: techniky přibližné inference nutné pro složité modely, modely s nekonečným množstvím směsných komponentů v neparametrických BM, nebo Auto-Encoding Variational Bayes. Kurs je veden v angličtině.
Zařazení předmětu ve studijních plánech
- Program IT-MGR-2 magisterský navazující
obor MGMe , libovolný ročník, zimní semestr, 5 kreditů, povinně volitelný
- Program MITAI magisterský navazující
specializace NBIO , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NISD , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NISY , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NIDE , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NCPS , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NSEC , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NMAT , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NGRI , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NNET , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NVIZ , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NSEN , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NMAL , libovolný ročník, zimní semestr, 5 kreditů, povinný
specializace NHPC , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NVER , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NEMB , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NADE , libovolný ročník, zimní semestr, 5 kreditů, volitelný
specializace NSPE , libovolný ročník, zimní semestr, 5 kreditů, volitelný - Program IT-MGR-1H magisterský navazující
obor MGH , libovolný ročník, zimní semestr, 5 kreditů, doporučený
Typ (způsob) výuky
Přednáška
26 hod., nepovinná
Vyučující / Lektor
Osnova
- Teorie pravděpodobnosti a rozdělení pravděpodobnosti.
- Bayesovská Inference (apriorní pravděpodobnosti, nejasnost odhadu parametrů, předpovězená hodnota posteriorních pravděpodobností)
- Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi.
- Inference v Bayesovských sítích (loopy belief propagation)
- Expectation-Maximization algoritmy (s aplikacemi na Gaussovské směsné modely)
- Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování
- Inference pomocí variačního Bayese (VB), Stochastický VB
- Modely s nekonečným počtem směsných komponentů. Dirichletovy procesy. Chinese Restaurant procesy
- Pitman-Yor proces pro modelování jazyka.
- Šíření očekávání (expectation propagation)
- Gaussovské procesy
- Auto-Encoding Variational Bayes
- Praktické aplikace bayesovské inference
Cvičení odborného základu
13 hod., povinná
Vyučující / Lektor
Osnova
Demonstrační cvičení budou následovat okamžitě po přednáškách a budou obsahovat příklady, především v Pythonu. Kód a data pro příklady budou k dispozici studentům a budou tvořit základ projektu.
Projekt
13 hod., povinná
Vyučující / Lektor
Osnova
Projekt bude následovat demonstrační cvičení, jeho náplní bude zpracování poskytnutých reálných nebo simulovaných dat. Studenti budou pracovat v týmech v "evaluačním" módu a presentovat své výsledky na poslední přednášce/cvičení.