Pesquisa Bibliográfica

Referência 397

Moody, J.E. The Effective Number of Parameters: An Analysis of Generalization and Regularization in Nonlinear Learning Systems, Advances in Neural Information Processing Systems 4, pp. 847-854, 1992.

Fonte: ftp://ftp.sas.com/pub/neural/FAQ3.html

Resumo: não

Artigo Completo: não

Palavras-Chave: generalização, regularização, aprendizado

Comentários: não há informação suficiente.
Referência 398

Ormoneit, D. A regularization approach to continuous learning with an application to

financial derivatives pricing, Contributed article, August 1999.

Fonte: www.bae.unicamp.br - Probe - Elsevier

Resumo: sim

Artigo Completo: sim

Palavras-Chave: aprendizado contínuo, regularização, filtro de Kalman estendido, preços derivativos

Comentários: os autores deste artigo consideram o treinamento de redes neurais nos casos onde a relação não-linear de interesse gradualmente muda com o tempo. O problema é abordado com o uso de técnicas de regularização onde uma penalidade variável é adicinada ao critério de erro.

Referência 399

Ramamurti, V.; Ghosh, J. Regularization and error bars for the mixture of experts network, In Proceedings of the IEEE 1997 International Conference on Neural Networks, pp. 221-225, IEEE Press, 1997

Fonte: ResearchIndex (CiteSeer): http://citeseer.nj.nec.com/

Resumo: sim

Artigo Completo: sim

Palavras-Chave: aproximação, treinamento, generalização

Comentários: este paper mostra como a regularização aplicada a redes neurais melhora o desempenho de generalização durante a etapa de treinamento. Os autores também abordam a estimação de histogramas de erro para a predição da rede. Isso é útil para determinar as prováveis saídas da rede para determinada entrada.

Referência 400

Reed, R.; Marks, R.J.; Oh, S. Similarities of Error Regularization, Sigmoid Gain Scaling, Target Smoothing, and Training with Jitter, IEEE Transactions on Neural Networks, Vol. 6, No. 3, pp. 529-538, May 1995.

Fonte: ResearchIndex (CiteSeer): http://citeseer.nj.nec.com/

Resumo: não

Artigo Completo: não

Palavras-Chave: ruído, treinamento, gradiente, redes neurais

Comentários: não há informação suficiente.

Referência 401

Shi, Z.; Zhang, D.S.; Kouri, D.J.; Hoffman, D.K. Robust regularized learning using distributed approximating functional networks, International Joint Conference on Neural Networks, IJCNN '99, vol. 5, pp. 3213-3216, July 1999.

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: processamento de sinais, wavelets, suavidade, regime de freqüência, aprendizado robusto

Comentários: este paper apresenta uma nova rede neural de funcionalidade polinomial usando wavelets, para estimação de sinal e mapeamento de superfície. A grande vantagem dessas redes polinomiais é que a suavidade do espaço funcional é idêntica à suavidade do espaço de estado (vetor de pesos).A função restrita de custo de energia usando um programa de regularização dota a rede com uma característica natural de filtragem variante no tempo.
Referência 402

Sjöberg, J. Regularization as a substitute for preprocessing of data in neural network training, In Preprint IFAC/IFIP/IMAC Symposium on Artificial Intelligence in Real-Time Control, pages 59-63, 1992.

Fonte: ResearchIndex (CiteSeer): http://citeseer.nj.nec.com/

Resumo: não

Artigo Completo: não

Palavras-Chave: suavidade, mínimos locais, parâmetros de regularização

Comentários: a fonte não fornece material suficiente para a realização de comentários

Referência 403

Sjöberg, J.; Ljung, L. Overtraining, regularization, and searching for minimum in neural networks, In Proc. of the IFAC Symposium on Adaptive Systems in Control and Signal Processing, pp. 669-674, IFAC, 1992.

Fonte: ResearchIndex (CiteSeer): http://citeseer.nj.nec.com/

Resumo: não

Artigo Completo: não

Palavras-Chave: problemas mal-condicionados, restrições de suavidade, dilema bias/variância, treinamento, ruído

Comentários: este artigo trata, entre outras coisas, do dilema bias/variância. Este artigo tem um bom número de citações.
Referência 404

Sjöberg, J.; Ljung, L. Overtraining, regularization, and searching for a minimum, with application to neural networks, Int. J. Control, vol. 62, pp. 1391-1407, 1995.

Fonte: ResearchIndex (CiteSeer): http://citeseer.nj.nec.com/

Resumo: não

Artigo Completo: não

Palavras-Chave: problemas mal-condicionados, restrições de suavidade, dilema bias/variância, treinamento, ruído

Comentários: este artigo trata, entre outras coisas, do dilema bias/variância.
Referência 405

Sugiyama, M.; Ogawa, H. Subspace Information Criterion for Model Selection, Neural Computation, vol.13, no.8, pp.1863-1889, 2001.

Fonte: http://ogawa-www.cs.titech.ac.jp/~sugi/

Resumo: sim

Artigo Completo: sim

Palavras-Chave: aprendizado supervisionado, capacidade de generalização, seleção de modelo, critério de informação de Akaike

Comentários: os autores deste paper propõem um novo critério para seleção de modelo chamado critério de informação de subespaço. Assume-se que a função alvo de aprendizado pertence a um espaço funcional de Hilbert e o erro de generalização é definido como a norma quadrática desse espaço.
Referência 406

Surendran, A.C.; Lee, C.H.; Rahim, M. Unsupervised, smooth training of feed-forward neural networks for mismatch compensation, Proceedings of the IEEE Workshop on Automatic Speech Recognition and Understanding, pp. 482-489, Dec. 1997.

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: redes neurais feedforward, distorções não-lineares, reconhecimento de voz, máximo local, erro médio quadrático

Comentários: este paper apresenta uma técnica de máxima verossimilhança para treinamento de redes neurais feedforward. A técnica proposta é completamente não-supervisionada; conseqüentemente, ela elimina a necessidade de se ter valores alvo para cada entrada. Então bases de dados estéreo não são mais requeridas para o aprendizado de distorções não-lineares sob condições adversas em aplicações de reconhecimento de voz.
Referência 407

Vecci, L.; Piazza, F.; Uncini, A. Learning and Approximation Capabilities of Adaptive Spline Activation Function Neural Networks, Neural Networks Vol.11, No.2, pp. 271-282, 1998

Fonte: infocom.uniroma1.it/aurel/papers98/ASNN_NN.pdf

Resumo: sim

Artigo Completo: sim

Palavras-Chave: splines, perceptron, generalização, redes neurais, funções sigmoidais

Comentários: os autores deste paper fazem um estudo das propriedades teóricas de um novo tipo de rede neural artificial, que são capazes de adaptar suas funções de ativação pela variação dos pontos de controle. São utilizadas técnicas de regularização e são analisados o treinamento e a capacidade de generalização dessas redes neurais.

8. Validação Cruzada Ordinária e Generalizada
A validação cruzada, seja a ordinária ou a generalizada, é uma importante ferramenta para a obtenção do parâmetro de regularização ótimo. O principal pesquisador nesta área é Wahba, representado aqui por uma série de artigos e um livro. De uma maneira geral, a teoria envolvida neste tipo de abordagem está bem fundamentada e estruturada; portanto, à exceção dos artigos de Wahba, a maior parte dos trabalhos encontrados na literatura trata da validação cruzada aplicada a alguma área especifica, como wavelets, processamento de imagens, imagens médicas, microondas, e todas as outras áreas citadas na seção de aplicações da teoria da regularização. Uma parte significativa dos trabalhos aqui apresentados faz uma comparação da validação cruzada em relação a outros métodos utilizados na obtenção do parâmetro de regularização ótimo, onde se observa que este é o método preferido para a maioria das aplicações.
Referência:
Referência 408

Acton, S.T.; Bovik, A.C. Piecewise and local image models for regularized image restoration using cross-validation, IEEE Transactions on Image Processing, vol. 8, no. 5, pp. 652-665, May 1999.

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: restauração de imagens, validação cruzada, otimização, métodos de suavidade, regularização

Comentários: os autores deste paper descrevem duas classes úteis e com significado físico de modelos de imagens que podem ser usadas para construir novas restrições de suavidade para uso no problema de restauração de imagens regularizadas. É dispensada considerável atenção para a determinação do parâmetro de regularização via técnica de validação cruzada.
Referência 409

Ainsleigh, P.L.; Chui, C.K. Simultaneous wavelet and spline smoothing of noisy data, IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP-93, vol. 3, pp. 197-200, April 1993.

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: smoothing splines, wavelets, dados ruidosos, validação cruzada generalizada, filtro FIR

Comentários: dois algoritmos de suavização de dados usando transformadas wavelets são propostos. Estes algoritmos fazem uso das capacidades de localização de tempo e freqüência das wavelets. O primeiro algoritmo é uma filtragem do tipo FIR. O segundo é baseado na validação cruzada generalizada.