Napredno strojno učenje

Pogoj je opravljen predmet Analiza podatkov s strojnim učenjem ali podoben predmet iz osnov strojnega učenja

Meta učenje: izrek o brezplačnem kosilu za strojno učenje, učenje o učenju, atributni opis podatkovnih množic, parametrizacija učnih algoritmov, optimizacija vrednosti parametrov učnih algoritmov, nadomestni modeli.

Upoštevanje predznanja pri učenju: odkrivanje enačb iz podatkov in predznanja, relacijsko učenje in induktivno logično programiranje, hierarhično urejeno predznanje (taksonomije), predznanje in (globoke) umetne nevronske mreže.

Globoko učenje in nevronske mreže: poljubne ciljne funkcije in vzvratno razširjanje napake, usmerjene večplastne nevronske mreže, nevronske mreže za slike in sekvenčne podatke (rekurenčne nevronske mreže, mehanizmi pozornosti, transformerji ter arhitekture kodirnikov, dekodirnikov in samokodirnikov), vložitve kompleksnih podatkov v vektorske prostore (grafovske in rekurzivne nevronske mreže), generativne nevronske mreže in veliki jezikovni modeli.

1. S. J. D. Prince: Understanding deep learning. MIT Press, Cambridge, Massachusetts, 2023.
2. T. Hastie, R. Tibshirani, J. Friedman: The elements of statistical learning : data mining, inference, and prediction, 2nd ed., New York : Springer, 2017.

Predavatelj poleg tega izbere tudi primerne novejše raziskovalne članke.

Študent spozna napredne metode strojnega učenja, kot so globoko učenje in generativne nevronske mreže, meta učenje in avtomatska konfiguracija učnih algoritmov, upoštevanje predznanja pri strojnem učenju in učenje modelov dinamičnih sistemov. Študenti v okviru domačih in seminarskih nalog pridobljeno znanje praktično utrjujejo z nadgradnjo obstoječih algoritmov strojnega učenja in samostojno reševanje praktičnih problemov gradnje napovednih modelov iz podatkov in predznanja.

Znanje in razumevanje: Razumevanje konceptov in gradnikov algoritmov za strojno učenje.

Uporaba: Uporaba obstoječih algoritmov in razvoj nagrajenih algoritmov za reševanje praktičnih problemov iz različnih področij inženirstva in znanosti.

Refleksija: Kritični vpogled v delovanje algoritmov strojnega učenja in ugotavljanje možnosti za izboljšave, formalizacija praktičnih problemov, ki omogoča njihovo reševanje s strojnim učenjem.

Prenosljive spretnosti – niso vezane le na en predmet: Sposobnost identifikacije, formulacije in reševanja praktičnih problemov.Sposobnost snovanja napovednih modelov z algoritmi strojnega učenja. Kritično razumevanje domače in tuje znanstvene literature. Privajanje na samostojno raziskovalno delo.

predavanja, seminarji, vaje, domače naloge in konzultacije

Domače naloge

Ustni izpit

(ocene: 5 (negativno), 6-10 (pozitivno), ob upoštevanju Statuta UL)

Ljupčo Todorovski:
– MEŽNAR, Sebastian, DŽEROSKI, Sašo, TODOROVSKI, Ljupčo. Efficient generator of mathematical expressions for symbolic regression. Machine Learning, 2023, vol. 112 (str. 4563–4596)
– BRENCE, Jure, DŽEROSKI, Sašo, TODOROVSKI, Ljupčo. Dimensionally-consistent equation discovery through probabilistic attribute grammars. Information Sciences, 2023, vol. 632 (str. 742–756)
– BAUER, Andrej, PETKOVIĆ Matej, TODOROVSKI, Ljupčo. MLFMF: data sets for machine learning for mathematical formalization. NIPS-23: Proceedings of the 37th International Conference on Neural Information Processing Systems, 2023 (str. 50730–50741)

Matija Pretnar:
– PLOTKIN, Gordon, PRETNAR, Matija. Handling algebraic effects. Logical methods in computer science, ISSN 1860-5974, 2013, vol. 9, iss. 4, paper 23 (str. 1-36) [COBISS-SI-ID 16816729]
– PRETNAR, Matija. Inferring algebraic effects. Logical methods in computer science, ISSN 1860-5974, 2014, vol. 10, iss. 3, paper 21 (str. 1-43) [COBISS-SI-ID 17190745]
– BAUER, Andrej, PRETNAR, Matija. An effect system for algebraic effects and handlers. Logical methods in computer science, ISSN 1860-5974, 2014, vol. 10, iss. 4, paper 9 (str. 1-29). http://arxiv.org/pdf/1306.6316 [COBISS-SI-ID 17191001]