Universidade Federal de Minas Gerais
Departamento de Ciência da Computação

Métodos Quantitativos em
Ciência da Computação Experimental


1o Semestre de 2017

Professora: Jussara M. Almeida

Carga Horária: 60 cr

Horário: segundas e quartas as 9:25

Avisos
  • Entrega da proposta de projeto: 19/04/2017

Motivação

Como computação é um ramo da ciência, torna-se cada vez mais importante para os pesquisadores da área desenvolverem habilidades e terem conhecimento do método científico. Muitas pesquisas em ciência da computação experimental não são devidamente consideradas porque seus resultados baseiam-se em técnicas experimentais incorretas ou deficientes. Outras pesquisas em computação falham na apresentação de evidências experimentais que suportam suas conclusões. Esta é a motivação para um curso que concentra-se em técnicas estatísticas para suportar o método científico em ciência da computação. Os exemplos ilustrativos dos métodos experimentais estará concentrados em Web, redes, recuperação de informação, engenharia de software, IHC, dentre outras áreas.

Ementa

Tratamento de dados experimentais: medição, sumarização estatística, apresentação e interpretação de dados experimentais.
Carga de trabalho (workloads): caracterização e análise.
Métricas apropriadas para as questões buscadas pela pesquisa em ciência da computação experimental.
Projeto experimental efetivo (Effective experimental design): como projetar testes de sistemas que são significativos.

Programa

Bibliografia

Básica:

[Jain] The Art of Computer System Performance Analysis: Techniques for Experimental Design, Measurement, Simulation and Modeling, Raj Jain, John Wiley & Sons, 1991, ISBN: 0-471-50336-3.

Outros Livros Recomendados:

[BoHH] Statistics for Experimenters: An Introduction to Design, Data Analysis, and Model Building , George E. P. Box, Wiliam G. Hunter, J. Stuart Hunter, John Wiley & Sons, Inc. 1978.

[MeAD] Performance by Design: Computer Capacity Planning by Example, Daniel A. Menasce, Virgilio A. F. Almeida, Larry W. Dowdy, Prentice Hall, 2004.

[MeAl] Capacity Planning for Web Services: metrics, models, and methods, Daniel Menasce, Virgilio Almeida, Prentice Hall, 2002.

[Tufte] The Visual Display of Quantitative Information, Edward R. Tufte, Graphics Press, Cheshire, Connecticut, 1983.


How to Give a Talk, Arnaud Legout .

Artigos e outras fontes:

1. Dror Feitelson, "Experimental Computer Science: The Need for a Cultural Change", White Paper 2005

2. Todd Mytkowicz, Amer Diwan, Matthias Hauswirth, Peter F. Sweeney, "Producing Wrong Data Without Doing Anything Obviously Wrong!", Proc. ASPLOS XIV, 2010

3. Walter Tichy, "Should Computer Scientists Experiment More?", IEEE Computer, May 1998, pages 32-40

4. Peter Denning, "Is Computer Science a Science?" Communications of ACM, Maio 2005, pages 27-31.

5. Keith Devlin, "Why universities require computer science students to take math", Communications of ACM, Setembro 2003

6. Dror G. Feitelson, "Experimental Computer Science", Comm. of ACM, Nov. 2007, Pages: 24 - 26

7. Larry Peterson, Vivek S. Pai, "Experience-Driven Experimental Systems Research, Communications of ACM, November 2007.

8. Mary Shaw, "What Makes Good Research in Software Engineering?", International Journal of Software Tools for Technology Transfer, 2002, vol. 4, no. 1, pp. 1-7.

9. John Platt, "Strong Inference", Science, October 1964, Vol. 196, pages 347-353a

10. Janez Demsar, "Statistical Comparisons of Classifiers over Multiple Data Sets", Journal of Machine Learning Research, vol. 7 12/1/2006, pages 1-30

Veja mais recursos, incluindo artigos sobre ciência da computação experimental, conferências e journals voltadas para este tema, ambientes de experimentação em larga escala e bases de dados públicas neste link.


Alguns artigos produzidos como resultado desta disciplina:

1. Elisa Boari de Lima, Gisele L. Pappa, Jussara Marques de Almeida, Marcos André Gonçalves, Wagner Meira Jr.: Tuning Genetic Programming parameters with factorial designs. IEEE Congress on Evolutionary Computation 2010: 1-8

2. Michele A. Brandão, Mirella M. Moro, Jussara M. Almeida: Experimental Evaluation of Academic Collaboration Recommendation Using Factorial Design. JIDM 5(1): 52-63 (2014)

3. Terra, Ricardo ; Almeida, Jussara M. ; Bigonha, Roberto S ; Marco Túlio Valente . Comparative Analysis of Code Generated by Java and C++ Compilers. Simpósio Brasileiro de Linguagens de Programação, 2010.


Avaliação

Participação: Os alunos deverão ler antes das aulas os artigos que serão discutidos. Além disso, deverão ler os capítulos utilizados do livro básico: Jain, The Art of Computer Systems Performance Analysis. Possivelmente, os alunos também deverão fazer apresentaçõs e seminários sobre outros artigos.


Listas de Exercícios