Pampulha UFMG - Departamento de Ciência da Computação

2o. Semestre de 2019
Modelos Gráficos Probabilísticos - PGM

Calendário e material do curso 

DK: Material do curso PGM de Daphne Koller no coursera.org (na verdade, no youtube)

Material de leitura refere-se aos seguintes livros:

Aula # Tópico Leitura Trabalho
Semana 01
Aula 01
3a, 06/agosto

Administração e Introdução ao curso: PGM-AdmIntro.pdf

Estudos observacionais e experimentais: slides
Darwiche (2010)  CACM 
K & F: Capítulos 1 e 2

Opcional:
Bayes at NYTime ou em pdf aqui
e
NYTimes: Steven Strogatz em Chances are...  ou em pdf aqui
e
Fisher e a controvérsia sobre câncer de pulmão e fumo
Lista 01 de exercícios:
  • para dia 13/08 até 23:55
  • ler FPPExpObs.pdf
  • LER todos os exercícios do final
  • Entregar os exerc:
    • Set A: 2, 5, 9
    • Review: 1, 5, 7, 11


Semana 01
Aula 02
5a, 08/agosto
Estudos observacionais e experimentais: slides Causalidade: critérios de Sir Bradforfd Hill
Semana 01
Aula 03
Sábado, 10/agosto

prova - 5pontos - verificação de pré-requisitos
PROVA_exemplo - estilo de questões que serão cobradas na prova


Material pré-requisito: leia os slides e textos sobre propriedades básicas de variáveis aleatórias. Vou supor este material conhecido.

Variáveis aleatórias, Distribuições marginais e condicionais: PGM-Aula01.pdf

Texto com o material dos slides

Videos de DK:
1-1: PGM: Welcome
1-2: Overview and Motivation
1-3:  Probability distributions
1-4:  Factors (opcional, por enquanto)
2-1: Semantics an Factorization
 
K & F: 3.1 e 3.2
Murphy: Seção 10.1
Opcional:

Transparências de DK: aqui

Semana 02
Aula 04
3a, 13/agosto

Independência condicional: slides




Dois primeiros capítulos de Scutari e Denis
Pode começar a ler...

Lista 02 de Exercícios

Entregar dia 20 de agosto, terça, até as 23:55 pelo moodle (ou por e-mail se não tiver acesso ao moodle)
5a, 15/agosto FERIADO


Semana 03
Aula 05
3a, 20/agosto
Definição de Redes Bayesianas Capítulo de Modelos Gráficos do livro PRML de Bishop
Semana 03
Aula 06
5a, 22/agosto
Fatoração e Independência Condicional
Slides opcionais sobre I-map
Vídeos de DK:
2-1: Semantics an Factorization
2-2: Reasoning Patterns
2-3: Flow of Probabilistic Influence
2-4: Conditional Independence
2-5: Independencies in BN

Semana 04
Aula 07
3a, 27/agosto
Aula com Túlio Criscuolo
Primeiro capítulo de Scutari e Denis

Annotated R script: introduction to BN in R. Siga  o script  lendo os primeiro capítulo do livro Bayesian Networks de Scutari e Denis.
Continuação do annotated R script:

Dataset survey.txt

Semana 04
Aula 08
5a, 29/agosto
Aula com Túlio Criscuolo
Segundo capítulo de Scutari e Denis
Script R para reproduzir toda a análise do capítulo 2 do livro de Scutari e Denis

Crop datasets:   Dataset1  Dataset2

Semana 05
Aula 09
3a, 03/setembro
Plates e template models



Vídeos de Daphne Koller, Stanford:
3-1: Overview of Template Models
3-2: Temporal Models
3-3: Hidden Markov Models
3-4: Plate Models

Semana 05
Aula 10
5a, 05/setembro
Prioris e posterioris: caso binomial (a partir do slide 47)
Lista 03 de Exercícios
1) Fazer 1, 2, 3, 6 (este é longo!!!), 20 e 22 da Seção 2 (Redes Bayesianas) a partir da página 13
2) Fazer 1 e 3 da Seção 5 (Prioris e Posterioris), a partir da página 26

Dados para exerc 6 da seção 2
dataset.dat
joint.dat
Semana 06
Aula 11
3a, 10/setembro
Material sobre Normal Multivariada Recursos adicionais (from Roman Garnett PGM class):

Book: Bishop PRML: Section 2.3 (The Gaussian Distribution). This is a truly excellent and in-depth discussion!

Book: Barber BRML: Section 8.4 (Multivariate Gaussian).

Book/reference: Rasmussen and Williams GPML: Section A.2 (Gaussian Identities), available here. This is a good cheat sheet!

Notes: Chuong B. Do put together some notes on the multivariate Gaussian for the Stanford machine learning class here. These go a bit more in depth than my notes, if you want to see more details.

Website: The Wikipedia articles on the normal distribution and the multivariate normal distribution are quite complete.

Video: YouTube user mathematicalmonk has a lecture on the multivariate normal available as well.

Video: Alexander Ihler also has a lecture on the multivariate normal, including information on how to sample from the distribution

Semana 06
Aula 12
5a, 12/setembro
Ler capítulo 9: Simulação Monte Carlo

Slides sobre Simulação Monte Carlo



Semana 07
Aula 13
5a, 17/setembro
Slides sobre Filtro de Kalman

Script R para filtro de Kalman
Série de vídeos sobre Filtro de Kalman feitos pelo MATLAB.


Semana 07
Aula 14
5a, 19/setembro



PRIMEIRA PROVA - PGM

 
Primeira Prova de 2014 - Gabarito

Primeira Prova de 2015 - Gabarito

Primeira Prova de 2016 - Gabarito

Primeira Prova de 2017 - Gabarito

Primeira Prova de 2018 - Gabarito

Semana 08
Aula 15
3a, 24/setembro
Slides sobre Robótica Probabilística: exemplo

Slides sobre Filtro de Particulas

Script R para filtro de partículas
Bonitos exemplos de filtro de partículas aplicado em robótica. Veja a partir de 35:04

Lista 04 (no moodle): exerc 2 e 3 do cap 6 e exerc 10 do cap 8 do livro de exercícios
Semana 08
Aula 16
5a, 26/setembro
Introdução a Amostrador de Gibbs -
Intro - Gibbs - Slides
Slides - Minas de Carvão
Texto - Gibbs e Minas de Carvão
R Script - Minas de carvão

Gibbs para BNs discretas - Não foi exposto em sala (muito simples) mas é leitura obrigatória
Texto
R script


Semana 09
Aula 17
3a, 01/outubro

Excelente material sobre Métodos Monte Carlo , incluindo  Amostradorde Gibbs, Metropolis-Hastings, simulated annealing etc.
Este material é mais avançado (com provas) do que o que vimos em sala de aula


LIVROS ADICIONAIS
FOCANDO SOBRE MCMC:
Introduction to Applied Bayesian
Statistics and Estimation for Social
Scientists - Scott Lynch - Livro muito
didático e que exige pouco
conhecimento prévio

Markov Chain Monte Carlo: Stochastic
Simulation for Bayesian Inference,
Second Edition  - Gamerman e Lopes -
Livro mais técnico que o anterior.

Introducing Monte Carlo Methods with
R - Robert and Casella - similar ao livro
acima em termos de conteúdo e
pré-requisito

Monte Carlo Statistical Methods -
Robert and Casella, dos mesmos
autores que o livro acima. Este livro é o
mais completo e técnico de todos eles,
todas as demonstrações e resultados
mais complicados explicados em
detalhes.
Lista ?? de Exercícios

Dados de mortalidade infantil do DATASUS, região sul, 2015
Semana 09
Aula 18
5a, 03/outubro
Mistura de Normais - texto
Script R

Modelo LDA - texto
Script R

Modelo LDA - contas detalhadas

Artigo didático sobre LDA
Semana 10
Metropolis-Hastings Algorithm

Código R para MH
Mais código MH : Modelo TRI


Semana 11
Fundamentos: Markov chain e MCMC

Detailed Balance for MH e GS

OpenBUGS - Descricao
Student BN em OpenBUGS - arquivo .odc
Crescimento de Camundongos - MyRats.odc
Habilidade em testes - MyLSAT.odc


Semana 12
Markov Random Fields
MRF, Ising, MCMC - notas de aula
Aplicações de Markov Random Fields:
 
A generative spatial clustering model for random data through spanning trees - Teixeira, Assuncao e Loschi ICDM 2015

Exploring multiple evidence to infer users’ location in Twitter
Slides: Rodrigues Et Al.
Paper: Neurocomputing 2015

Semana 13
Introducao a Conditional Random Fields para Textos
Slides: crf-pgm.pdf
 continução de CRF - Intro a Hidden Markov Models e Algoritmo de Viterbi
Slides aqui
Conditional Random Fields - final - slides



Model Selection
Script R: Learning a DAG
Material de Daphne Koller: slides






Semana 11
Aulas 39 a 42
3a., 24 out.
5a., 26 out. 


Segunda Prova de 2014 - Gabarito

Segunda Prova de 2015 - Gabarito

Segunda Prova de 2016 - Gabarito

Segunda Prova de 2017 - Gabarito

Segunda prova de 2018 - Gabarito

Terceira Prova de 2014 - Sem Gabarito

Terceira Prova de 2016 - Sem Gabarito

Terceira Prova de 2017 - Gabarito