Pesquisa Bibliográfica

Pesquisa Bibliográfica, Redes Neurais

Grupo 20

SUAVIDADE E TEORIA DA
REGULARIZAÇÃO

Professor:	Fernando José Von Zuben
Departamento:	DCA
Alunos:	Elder de Oliveira Rodrigues – RA: 005507
	Jayme Garcia Arnal Barbedo – RA: 990657
Disciplina:	IA353 – Redes Neurais
Data:	26 / Setembro / 2001

Índice

Assunto	Página
0 – Introdução	2
1 – Aplicações	3
2 – Modelagem e Regressão Não-Paramétrica	59
3 – Problemas Inversos	66
4 – Capacidade de Generalização e Dilema Bias/Variância	74
5 – Splines suavizantes/Projection Pursuit	81
6 – Teoria e Princípios Básicos	92
7 – Treinamento de Redes Neurais	104
8 – Validação Cruzada	115
9 – Lista de Autores	133

TRABALHO DA DISCIPLINA DE REDES NEURAIS

REFERÊNCIAS BIBLIOGRÁFICAS – SUAVIDADE E TEORIA DA REGULARIZAÇÃO

INTRODUÇÃO

Em 1963, Tikhonov propôs um novo método denominado “regularização para solução de problemas mal condicionados (ill-posed)”. No contexto de problemas de aproximação, a idéia básica da regularização é estabilizar a solução por meio de algumas funções auxiliares não negativas que carregam informação a priori como, por exemplo, restrições de suavidade no mapeamento entrada-saída (isto é, solução para o problema de aproximação), fazendo com que problemas mal condicionados se transformassem em problemas bem condicionados.

A quantidade de referências bibliográficas ligadas ao assunto de suavidade e teoria da regularização é muito grande (localizou-se mais de 7.000). Por ser impossível listá-las todas, procurou-se apresentar as referências mais representativas e importantes da área, além da tentativa de se contemplar todas as vertentes e subdivisões dentro deste tema. O resultado á uma lista de referências bastante ampla, permitindo ao leitor situar-se de maneira adequada dentro do tema abordado.

O tema de suavidade e teoria de regularização foi dividido em 8 diferentes assuntos:

1 – Aplicações

2 – Regularização e Modelagem/Regressão Não-Paramétrica

3 – Problemas Inversos Mal-Condicionados

4 – Problema de Generalização e Dilema Bias/Variância

5 – Smoothing Splines e Projection Pursuit

6 – Teoria e Princípios Básicos

7 – Treinamento e Aprendizado de Redes Neurais

8 – Regularização e Validação Cruzada

Algumas referências se encaixam em mais de um assunto, aparecendo, por esse motivo, mais de uma vez. As referências foram ordenadas, dentro de cada assunto, em ordem alfabética de acordo com o sobrenome do primeiro autor. Ao fim da apresentação de todas as referências, há um índice com todos os autores de trabalhos aqui apresentados.

A seguir são apresentadas as referências, com detalhes a respeito dos autores, título, periódico (ou editora), mês e ano de publicação, tema (no caso de aplicações), fonte onde foi obtida a referência, se tal fonte fornece resumo e o artigo completo, palavras-chave e, por fim, breves comentários com um resumo do respectivo trabalho, quando há informação suficiente.

1. Aplicações

A maior parte das referências encontradas no tema de teoria de regularização se encaixa neste assunto. Neste trabalho, procurou-se contemplar o maior número de diferentes aplicações, as quais são em grande número, a fim de fornecer uma noção de quão ampla é a utilização da regularização. Dentre suas aplicações, destacam-se:

- processamento de imagens: esta é a aplicação com o maior número de referências, já que a regularização mostrou ser uma ferramenta poderosa para a recuperação e restauração de imagens; detecção de movimento; análise de imagens médicas, como tomografias computadorizadas, eletrocardiogramas, e eletroencefalogramas; visão de baixo nível; etc. Maiores detalhes a respeito da utilidade da regularização no processamento de imagens podem ser encontrados nos comentários individuais de cada referência.

- aplicações matemáticas: a teoria da regularização é amplamente utilizada na matemática, especialmente em aplicações estatísticas e solução de equações diferenciais. A regularização é usada também em análise de Fourier, problemas de mínimos quadrados, solução de integrais, e muitas outras aplicações ligadas à solução de diversos problemas.

- aplicações em física: muitas áreas da física fazem uso da regularização na resolução de seus problemas, com destaque para as áreas de análise do comportamento de fluidos e mecânica quântica. Outras áreas fazem uso da regularização com sucesso, como análise de forças gravitacionais, física nuclear, condução de calor, estimação de densidade, etc.

- processamento de sinais: diversas áreas de processamento digital de sinais fazem uso da teoria da regularização, dentre as quais destacam-se a sua utilização em wavelets, recuperação e reconstrução de sinais, análise espectral, modelos AR, identificação de parâmetros, acústica, reconhecimento de voz, etc.

- outras aplicações importantes para a regularização são: reconhecimento de padrões (detecção de contorno), clusterização, química, controle e automação, medicina (análise da quantidade de glucose, hormônios, etc), mecânica, áudio, visão computacional, análise climática, economia, análise de materiais, fotometria, etc. Maiores detalhes a respeito destes e dos outras assuntos podem ser encontrados nos comentários individuais apresentados para cada uma das referências apresentadas a seguir.
Referências:
Referência 173

Adler, M.; Vanmoerbeke, P. Birkhoff Strata, Bäcklund Transformations, and Regularization of Isospectral Operators, Advances in Mathematics, Vol. 108, No. 1, September 1, 1994

Tema: aplicações matemáticas

Fonte: www.bae.unicamp.br - Probe - Academic Press

Resumo: não

Artigo Completo: sim

Palavras-Chave: transformações de Bäcklund, regularização, operadores isoespectrais

Comentários: este paper trata de diversas operações que podem ser realizadas em operadores isoespectrais.


Referência 2

Ahn, S.M.; Baik, S.W. A cluster analysis based on a regularization method, International Joint Conference on Neural Networks (IJCNN '99), vol. 2, pp. 1136-1139, July 1999.

Tema: clusterização

Fonte: base de dados IEEE/IEE – BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: reconhecimento de padrões, análise de cluster, método de regularização, método de estimação de densidade, modelo Gaussiano misto

Comentários: este paper mostra uma aplicação de “clustering” de um método de estimação de densidade que utiliza o modelo Gaussiano misto e a teoria da regularização. O termo “medida aproximada” é defina como um critério de “clustering” para determinar quão próximos estão os componentes Gaussianos.
Referência 3

Aloimonos, J. Visual shape computation, Proceedings of the IEEE, vol. 76, no. 8; p.899-916, Aug. 1988.

Tema: processamento de imagens

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: teoria da regularização, processos perceptuais, movimento, problema mal-condicionado

Comentários: o autor deste paper examina os processos perceptuais de visão a partir de diversos parâmetros, incluindo sombreamento, textura, contorno e estéreo. Este tipo de problema é mal-condicionado, sugerindo-se então a aplicação da teoria da regularização, a partir de um conhecimento a priori, para restringir o espaço de possíveis soluções, tornando o problema melhor condicionado.
Referência 4

Angelini, C.; Canditiis, D. Fourier frequency adaptive regularization for smoothing data, Journal of Computational and Applied Mathematics, vol. 115, no. 1-2, pp. 35-50, March 2000.

Tema: aplicações matemáticas

Fonte: www.bae.unicamp.br - Probe - Elsevier

Resumo: sim

Artigo Completo: sim

Palavras-Chave: séries de Fourier, suavidade, regularização adaptativa, validação cruzada generalizada, wavelets

Comentários: este paper analisa o problema da suavidade de dados através de uma transformada de Fourier. Os autores introduzem uma regularização adaptativa com a freqüência onde um parâmetro de regularização é introduzido para cada coeficiente capaz de suavizar diferentes freqüências levando em conta tanto a função quanto o ruído.


Referência 5

Arenstorf, R.F. Regularization theory for the elliptic restricted three body problem, Journal of Differential Equations, vol.6, no.3, pp. 420-51, nov. 1969.

Tema: aplicações matemáticas

Fonte: www.bae.unicamp.br - ERL

Resumo: sim

Artigo Completo: não

Palavras-Chave: caso elíptico, colisões, singularidades reais

Comentários: este paper transfere para o caso elíptico os resultados conhecidos a partir do problema dos três corpos sobre o significado dinâmico (colisões) e o caractere de singularidades reais e a existência de soluções no eixo de tempo real. Uma meta do paper é a apresentação de transformações, que regularizam as equações de movimento na parte do espaço de fase, que contém todas as trajetórias.
Referência 6

Balsi, M. Regularization-based continuous-time motion detection by single-layer cellular neural networks, Proceedings of the 6th IEEE International Workshop Cellular Neural Networks and Their Applications (CNNA 2000), pp. 135-140, May 2000.

Tema: detecção de movimento

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: problema inverso, visão computacional, imagens móveis, estimação de movimento, rede neural celular.

Comentários: a teoria da regularização é proposta para projeto sistemático de redes neurais celulares baseadas em conexões lineares e não-lineares (CNN). Neste paper, após estabelecer as bases do projeto baseado em regularização de CNNs, tal metodologia é aplicada ao problema da estimação do campo de movimento continuo no tempo em imagens móveis.