DCC030 / DCC049 / DCC831  - Observação de Pessoas: Conceitos e Aplicações 


Exemplos de aplicações dentro do domínio de observação de pessoas.


Professor: 
William Robson Schwartz

Classes: segundas e quartas das 17h00 às 18h40, sala 1017 do prédio do ICEX

Turma: DCC030/DCC049/DCC831

Carga Horária: 60 horas

Descrição

O entendimento automático de atividades desempenhadas por humanos em vídeos apresenta grande interesse pois permite que tarefas como o monitoramento de ambientes sejam resolvidas baseadas na análise da interação entre indivíduos e de seus comportamentos. Desta maneira, novas tecnologias para prevenção de acidentes, detecção de eventos e identificação de comportamento suspeito podem ser desenvolvidas. Para que atividades desempenhadas por humanos sejam analisadas de forma automática, problemas como detecção, reconhecimento, rastreamento de pessoas e o reconhecimento de ações, devem ser tratados de forma acurada e eficiente. Tais problemas compreendem o domínio de aplicações denominado observação de pessoas, o qual trata da análise de imagens e vídeos contendo humanos.

Ementa

Introdução e conceitos da área de observação de pessoas. Extração de descritores de características. Descrição de problemas de baixo e alto nível dentro do contexto de observação de pessoas bem como seus desafios. Métricas de avaliação para os problemas.

Objetivo

O objetivo principal deste curso é prover uma visão ampla da área de observação de pessoas por meio da caracterização de seus problemas e aplicações com foco na importância da utilização de descritores de características robustos. Com a exposição de problemas relacionados à observação de pessoas (ilustrados no diagrama abaixo), o aluno aprenderá conceitos e metodologias complementares àquelas apresentadas nas disciplinas de Visão Computacional e Processamento Digital de Imagens de modo a construir um ferramental poderoso para a obtenção de um melhor entendimento da área de computação visual e será capaz de identificar as abordagens mais desejáveis para a resolução de cada um dos problemas tratados.

Diagrama mostrando os problemas tratados no contexto de observação de pessoas e suas dependências. A informação visual é capturada durante a extração de características e é utilizada por diversos módulos. No final, a composição dos resultados obtidos em cada módulo resulta em uma descrição da cena, a qual é utilizada para executar o reconhecimento de atividades.


Programa

1. Introdução: Importância de observação de pessoas e seus conceitos; dependências entre problemas no contexto de observação de pessoas; apresentação de bases de dados e métricas de avaliação; aplicações.
2. Descritores de Características: Métodos de extração de características em imagens bidimensionais, tridimensionais e vídeos; taxonomia e avaliação de descritores de características; fusão de descritores e redução de dimensionalidade dos dados.
3. Problemas de Baixo Nível: Remoção de fundo; detecção de faces e pedestres; modelagem de aparências; reconhecimento baseado em biometria facial.
4. Problemas de Alto Nível: Rastreamento e re-identificação de pessoas; estimação de pose; reconhecimento de ações; reconhecimento de atividades e eventos.


Avaliações

2 provas (30 pontos)
3 trabalhos práticos (graduação: 70 pontos, pós-graduação: 55 pontos)
Pós-graduação: Apresentação de dois tópicos (10 pontos)

Assiduidade

Será considerado assíduo o aluno que comparecer a, no mínimo, 75% (setenta e cinco por cento) das atividades da disciplina.

Exame Especial

O exame especial terá o valor de 100 (cem) pontos.
O cálculo da nota final do aluno submetido a exame especial será feito pela seguinte fórmula: 

NF = (TPL + TEE) / 2

NF = Nota Final
TPL = Total de pontos obtidos ao final do período letivo
TEE = Total de pontos obtidos no exame especial

Bibliografia (livros)

  • [1] Thomas Moeslund, Adrian Hilton, Volker Krueger, Leonid Sigal (eds). A Guide to Visual Analysis of Humans: Looking at People, Springer, 2011.
  • [2] Richard Szeliski. Computer Vision: Algorithms and Applications. Springer, 2011 (link para o draft).
  • [3] Simon J. D. Prince. Computer Vision: Models, Learning, and Inference, 2012 (link para o livro)
  • [4] Gary Bradski, Adrian Kaehler. Learning OpenCV - Computer Vision with the OpenCV Library. O’Reilly, 2008.
  • [5] Hélio Pedrini, William Schwartz. Análise de Imagens Digitais: Princípios, Algoritmos e Aplicações. Thomson Learning, 2007.
  • [6] Andrew Webb. Statistical Pattern Recognition, 2nd edition. Wiley, 2002.

Bibliografia (artigos) [link]


Principais Conferências na Área

IEEE Conference on Computer Vision and Pattern Recognition [link]
IEEE International Conference on Computer Vision [link]
European Conference on Computer Vision 
IEEE International Conference on Automatic Face and Gesture Recognition [link]
IEEE International Conference on Biometrics: Theory, Applications and Systems [link]
IEEE Workshop on the Applications of Computer Vision [link]
British Machine Vision Conference [link]
IAPR / IEEE International Conference on Biometrics [link]



Calendário


Data Conteúdo Material
12/08/2013 Introdução à Observação de pessoas [slides]
14/08/2013 Framework para Implementação [slides] [vídeo]
21/08/2013 OpenCV (Prof. Erickson) [slides]
26/08/2013 Localização de Regiões de Interesse
Remoção de Fundo; TP1
[slides]
 [TP1]
28/09/2013 Remoção de Fundo [slides]
02/09/2013 Representação da Informação Visual
Detecção de Pontos de Interesse
[slides]
[slides]
04/09/2013 Descritores de características espaciais
[slides]
09/09/2013 Descritores de características temporais
Tutorial Sistema
[slides]
[tutorial]
11/09/2013 Seleção de Características [slides]
16/09/2013 Redução de Dimensionalidade [slides]
18/09/2013 Partial Least Squares [slides]
23/09/2013 Classificação de Dados [slides]
25/09/2013 Detecção de Objetos [slides]
30/09/2013 Ausência programada
02/10/2013 Prova 1
07/10/2013 Detecção de Objetos (2) [slides]
09/10/2013 Aplicação: Detecção de Pedestres [slides]
14/10/2013 Métricas de Avaliação; TP2 [slides]
[TP2]
16/10/2013Reconhecimento de Faces [slides]
21/10/2013Reconhecimento de Faces (2)
23/10/2013Rastreamento de Pessoas[slides]
30/10/2013Reidenfificação de Pessoas[slides]
04/11/2013Reidentificação de Pessoas (2)[slides]
06/11/2013Revisão do andamento dos trabalhos
11/11/2013Revisão do andamento dos trabalhos
13/11/2013Reconhecimento de ações[slides]
25/11/2013 Prova 2




Cronograma do Trabalho Prático 2 (TP2)

Data Tópico
21/10 Escolha do tema e definição dos grupos
06/11 e 11/11 Revisão do andamento do trabalho
04/12 Submissão das curvas com os resultados
05/12 Retorno das curvas para adição nos relatórios
09/12 e 11/12 Apresentações dos trabalhos [formato do relatório]




Apresentações Individuais (apenas para pós-graduação)

Data Tópico Aluno
02/09 Descritores de Características Henrique Silva
09/09 Seleção de Características Cristianne
11/09 Redução de Dimensionalidade Ramon Gonçalves
16/09 Palavras Visuais
Henrique Silva
23/09 Métodos de Classificação
Ramon Gonçalves
25/09 Detecção de Pedestres
Victor Hugo
07/10 Detecção de Faces Antônio
16/10 Reconhecimento de Faces
Luís Pena
30/10 Reidentificação de Pessoas
Cristianne
04/11 Estimação de Pose
Victor Henrique
06/11Rastreamento de PessoasLuís Pena
11/11 Reconhecimento de Ações
Antônio
13/11 Reconhecimento de Eventos
Victor Hugo
18/11 Reconhecimento de Atividades Victor Henrique





Regras

Presença: A presença em sala de aula será verificada através de chamada.
 
Provas: As provas são individuais e sem consulta.
 
Prova de Reposição: Não haverá prova de reposição com o objetivo de substituir a nota de uma prova já feita. Alunos que venham a perder uma prova por motivo de força maior (com a devida comprovação) terão direito a um outro exame.
 
Trabalhos Práticos: Os trabalhos práticos são individuais. É permitida e incentivada a discussão de aspectos gerais dos trabalhos entre os alunos mas não é permitido o compartilhamento de trechos de código ou qualquer material relativo ao desenvolvimento dos trabalhos práticos ou o reaproveitamento de material desenvolvido em semestres anteriores. 
 
Listas de Exercícios: As listas de exercícios serão individuais. Estudo e discussão de exercícios em grupos é permitido, porém cada aluno  deve elaborar e apresentar suas soluções individuais para os exercícios.
 
Celulares: Celulares devem permanecer desligados durante o horário de aula.
 
Regras de Conduta: É esperado que os alunos conduzam seu trabalho acadêmico com honestidade e integridade. Falhas de conduta como cópia de trabalhos e exercícios de colegas ou da internet, cola, etc. podem vir a ser punidas com dedução parcial ou total da nota em um trabalho ou prova e mesmo com sanções posteriores segundo as normas do Colegiado de Graduação.