Pesquisa Bibliográfica

Referência 363 (livro)

Tikhonov, A.N.; Arsenin, V.Y. Solutions of ill-posed problems, W.H. Winston, Washington, 1977.

Fonte: Referência Haykin

Palavras-Chave: problemas mal-condicionados, suavidade, regularização

Comentários: nesta obra, o criador da teoria da regularização faz uma abordagem bastante ampla a respeito da teoria da regularização, discutindo várias de suas características mais importantes.
Referência 364 (tese)

von Zuben, F.J. Modelos paramétricos e não-paramétricos de redes neurais artificiais e aplicações, Tese de Doutorado, Unicamp, Campinas, Fevereiro de 1996.

Fonte: BAE/Unicamp

Palavras-Chave: suavidade, splines, regressão não-paramétrica

Comentários: é feita uma introdução a respeito da suavidade no item 3.3 da tese. Nos itens 3.7 e 3.8 é abordado a assunto da regularização, onde há um tratamento matemático e teórico bastante completo. Os assuntos suavidade e regularização ainda aparecem inseridos em outros conceitos ao longo de toda a tese.
Referência 365

Wahba, G. Spline Models for Observational Data, CBMS-NSF Regional Conference Series in Applied Mathematics 59, Softcover, 1990.

Fonte: www.amazon.com

Palavras-Chave: suavidade, splines, regressão não-paramétrica

Comentários: este livro serve como uma introdução aos aspectos mais teóricos do uso de modelos de splines. A autora aborda os problemas de suavidade e métodos de regularização, em particular o de Tikhonov, para a generalização do uso de splines para problemas inversos mal-condicionados. Este é considerado um livro bastante didático, sendo adotado por diversos cursos ao redor do mundo.

Referência 366

Watanabe, K.; Namatame, A.; Kashiwaghi, E. A mathematical foundation on Poggio's regularization theory, Proceedings of 1993 International Joint Conference on Neural Networks, vol.2, pp.1717-1722, 1993.

Fonte: www.bae.unicamp.br - ERL

Resumo: sim

Artigo Completo: não

Palavras-Chave: teoria de regularização, aprendizado, suavidade

Comentários: este paper justifica a teoria de regularização para aprendizado de um mapeamento entrada-saída a partir de um conjunto de exemplos, o que foi proposto por Poggio. Além disso, as relações entre a dimensão do espaço de entrada, a condição de restrição e a suavidade do mapeamento obtido como uma solução são propostos.
Referência 367

Yang, Z.; Ma, S. Beyond standard regularization theory, 7th International Conference of Computer Analysis of Images and Patterns, Proceedings, pp. 289-296, 1997.

Fonte: www.bae.unicamp.br - ERL

Resumo: sim

Artigo Completo: não

Palavras-Chave: visão computacional, regularização, generalização

Comentários: um conjunto de campos de interação local é sugerido no lugar do uso do termo delta erro em abordagens de regularização usuais, o que traz uma série de benefícios, como por exemplo uma maior generalização, o que pode ser muito útil em diversas situações.
Referência 368

Yeun, Y.S.; Lee, K.H.; Han, S.M.; Yang, Y.S. Smooth fitting with a method for determining the regularization parameter under the genetic programming algorithm, Information Sciences, vol. 133, no. 3-4, pp. 175-194, April 2001.

Fonte: www.bae.unicamp.br - Probe - Elsevier

Resumo: sim

Artigo Completo: sim

Palavras-Chave: suavidade, programação genética, parâmetro de regularização, memória associativa linear, método de Hook e Jeeves

Comentários: este paper lida com o problema do mapeamento suave sob o algoritmo de programação genética. Os autores apresentam um novo método para escolha do parâmetro de regularização, já que este é um fator preponderante na qualidade do mapeamento suave.

Referência 369

Encyclopedia of Artificial Intelligence – vol. 2, pp. 258, 265-266, 1043, Ed. Shapiro, S.C., John Wiley & Sons, 1987

Fonte: BAE/UNICAMP

Palavras-Chave: problemas mal-condicionados, suavidade, regularização, reconhecimento de padrões

Comentários: este livro faz apenas uma breve abordagem a respeito da regularização aplicada ao reconhecimento de padrões.

7. Treinamento e Aprendizado de Redes Neurais

Nesta seção são apresentados trabalhos que buscam as melhores estratégias para o treinamento e aprendizado de redes neurais, através de sua regularização. Diferentes estratégias são adotadas para diferentes casos. Nos artigos existentes na literatura, dentre os quais muitos são aqui citados, encontram-se estudos para situações bastante específicas quanto à disponibilidade de amostras para treinamento, tipo de rede e treinamento (backpropagation, feedforward, etc), análise das restrições de pesos e suavidade, critérios para minimização do erro de predição e validação, treinamento supervisionado e não-supervisionado, algoritmos de aprendizado mais eficientes, treinamento com ruído, treinamento de redes neurais de larga escala, incorporação de conhecimento a priori e outras características particulares e inerentes a determinado estudo. É importante ressaltar que o assunto de treinamento e aprendizado de redes neurais artificiais regularizadas apresenta em seu contexto conceitos de todos os outros assuntos abordados em cada uma das seções apresentadas neste trabalho, o que se reflete na variedade de temas dos artigos apresentados a seguir. Maiores detalhes são apresentados nos comentários individuais de cada artigo.

Referências:
Referência 370

Aires, F.; Schmitt, M.; Chedin, A.; Scott, N. The “weight smoothing” regularization of MLP for Jacobian stabilization, IEEE Transactions on Neural Networks, vol. 10, no. 6, pp. 1502-1510, Nov. 1999.

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: problemas inversos, aproximação neural, problema de aproximação, critério de qualidade, problema mal-condicionado.

Comentários: este paper se propõe a introduzir a suavidade de perfis Jacobianos como uma informação a priori, via uma técnica de regularização, e desenvolver um novo e eficiente algoritmo de aprendizado, chamado “weight smoothing”.

Referência 371

Amari, S.I. Training error, generalization error and learning curves in neural learning, Proceedings of the Second New Zealand International Two-Stream Conference on Artificial Neural Networks and Expert Systems, pp. 4-5, Nov. 1995.

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: redes neurais, aprendizado, minimização, erro de treinamento, erro de generalização

Comentários: os autores deste paper analisam o caso em que o número de amostras para treinamento é pequeno, onde as discrepâncias são grandes, causando um problema sério de sobre-treinamento. Esse fenômeno é analisado através do uso de um modelo simples. É estudado também o comportamento do erro de generalização.


Referência 372

Andersen, L.; Larsen, J.; Hansen, L.; Madsen, M.H. Adaptive Regularization of Neural Classifiers, In Proceedings of the IEEE Workshop on Neural Networks for Signal Processing VII, pp. 24-33, 1997.

Fonte: ResearchIndex (CiteSeer): http://citeseer.nj.nec.com/

Resumo: sim

Artigo Completo: sim

Palavras-Chave: erro de validação, classificação neural, reconhecimento de padrões, arquitetura de redes neurais

Comentários: este paper apresenta um esquema de regularização que adapta iterativamente os parâmetros de regularização pela minimização do erro de validação. É sugerido o uso de um esquema de regularização adaptativa para otimizar a arquitetura. Além disso, é proposta uma nova arquitetura de classificação neural melhorada, eliminando a redundância inerente dos modelos normalmente utilizados.