Cod: EAS-027
Durata: 30 ore
Durata: 30 ore
Descriere
Cursul nostru ofera o prezentare detaliata a Reinforcement Learning. Incepem cu notiunile de matematica de care ai nevoie si apoi ne uitam la algoritmi de baza RL, Deep Reinforcement Learning si cele mai noi metode folosite. Trecem si prin cateva aplicatii in detaliu precum si cele mai importante realizari din domeniu.Training-ul se concentreaza pe principalele provocari care apar cand lucram cu RL si abordeaza principalii algoritmi care stau la baza sistemelor RL.
In urma acestui curs iti vei imbunatatii cunostintele de ML si RL cu ajutorul mai multor exercitii si sesiuni de practica. De la algebra liniara, calcul si probabilitati vom ajunge la programare dinamica si procesele Markov, pentru ca in final sa discutam despre Q-learning si policy gradient methods.
Incercam sa oferim6 o prezentare detaliata, cel putin cu privire la diferitele tehnici fundamentale despre care se vorbeste in domeniu. Cea de-a doua parte a cursului cuprinde strict RL cu retele neuronale si discutii pe diferite aplicatii.
Vei avea ocazia sa folosesti diferite tool-uri precum Pytorch sau Ray.
Subiecte curs
a:2:{s:4:"TEXT";s:2506:"Algebra liniara- Prezentare concepte
Calcul
- Integrare
- Derivare
- Exemple
Probabilitati
- Random variables
- Density functions
- Expectation
- Conditional, joint & marginal probabilities
- Exemple
- Practica
Introducere in RL
- Markov Decision Processes
- Programare dinamica cu exemple
- Bellman equation
- Policy evaluation
- Policy Iteration
- Value Iteration
- Exemple
- Practica
Model-based vs model-free
- Learning & planning
- Deterministic
- Stochastic
- Linear value-function approximation
- Comparison & practice
Algoritmi
- Q-learning
- Sarsa
- Actor-critic
- Policy gradient
- Monte-Carlo tree methods
- Exploration vs exploitation
- Exemple
- Practica
Deep Reinforcement Learning
- Nonlinear function approximation
- The DeepMind breakthrough
- Alpha-Star Explained
Cele mai noi tehnologii in DRL
- Memory, Attention, Recurrence
- Inverse RL
- Multi-agent
- Hierarchical
- Evolved rewards – AutoRL
- Policy optimization
Modalitati de aplicare
- Trading
- Intelegerea limbajului si raspunsuri la intrebari (optional)
- Load balancing (optional)
- Alte utilizari (optional)
Pytorch / Tensorflow
- Tensor basics
- Implementarea unui algoritm RL de la zero
- Testare si vizualizare
- Practica
Ray + RLlib
- Principalele concepte: actors, futures, memory sharing, etc.
- Worked example
- Different algorithms
- Grid search & visualization
- Practica
Visualization & explainability
- SMDP, AMDP, SAMDP
- Projection to 3D-space with TSNE
- Example
Obiective
- Intelegerea principalelor dificultati legate de modelare in dezvoltarea algoritmilor RL
- Cum sa folosesti algoritmi existenti si sa intelegi provocarile care apar in state representation sau reward shaping
- Vizualizarea si adaptarea algoritmului sau reward mechanism, pentru ca agentul sa invete un lucru dupa altul
- Cum sa aplici sau sa dezvolti algoritmi RL pentru probleme reale
Public tinta
- Programatori care au cunostinte de Python/Machine Learning, dar nu au inca experienta in Reinforcement Learning
- Machine Learning Engineers
- Data Scientists
Cerinte curs
- Cunostinte de calcul, teoria probabilitatii, matematica discreta
- Cunostinte de baza de machine learning
- Intelegerea codului in Python