Pesquisa Bibliográfica

Comentários: este paper introduz uma propriedade da função objetiva acumuladora de terceira ordem. A propriedade é que a solução é ótima quando os gradientes dos erros médios quadráticos e erro cumulativo de terceira ordem são vetores nulos. As soluções ótimas são independentes dos parâmetros de regularização.

Referência 264

Martone, M. Optimally regularized channel tracking techniques for sequence estimation based on cross-validated subspace signal processing, IEEE Transactions on Communications, vol. 48, no. 1, pp. 95-105, Jan. 2000.

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: tracking, validação cruzada, algoritmo de Viterbi, estimador de canal, dilema bias-variância

Comentários: este paper propõe novos métodos para estimação de seqüência de máxima verossimilhança, baseado em um algoritmo de Viterbi. No esquema proposto, o estimador de canal e o processador de Viterbi operam de maneira concorrente. A relação bias-variância é automaticamente ajustada através de estimador de validação cruzada.
Referência 265

Moody, J.E. Note on generalization, regularization and architecture selection in nonlinear learning systems, Proceedings of the 1991 IEEE Workshop Neural Networks for Signal Processing, pp. 1-10, Sept 1991.

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: minimização da função de treinamento, generalização, seleção de arquitetura, sistemas de aprendizado não-linear, redes backpropagation

Comentários: o autor propõe uma nova estimação do desempenho de generalização para sistemas de aprendizado não-lineares, chamada de erro de predição generalizada (GPE), a qual é baseada na noção do número efetivo de parâmetros p/sub eff/(lambda). Esse número depende da quantidade de tendência e suavidade no modelo. Este é um artigo com um bom número de citações na literatura.
Referência 266

Moody, J.E. The Effective Number of Parameters: An Analysis of Generalization and Regularization in Nonlinear Learning Systems, Advances in Neural Information Processing Systems 4, pp. 847-854, 1992.

Fonte: ftp://ftp.sas.com/pub/neural/FAQ3.html

Resumo: não

Artigo Completo: não

Palavras-Chave: generalização, regularização, aprendizado

Comentários: não há informação suficiente.
Referência 267

Sugiyama, M.; Ogawa, H. Subspace Information Criterion for Model Selection, Neural Computation, vol.13, no.8, pp.1863-1889, 2001.

Fonte: http://ogawa-www.cs.titech.ac.jp/~sugi/

Resumo: sim

Artigo Completo: sim

Palavras-Chave: aprendizado supervisionado, capacidade de generalização, seleção de modelo, critério de informação de Akaike

Comentários: os autores deste paper propõem um novo critério para seleção de modelo chamado critério de informação de subespaço. Assume-se que a função alvo de aprendizado pertence a um espaço funcional de Hilbert e o erro de generalização é definido como a norma quadrática desse espaço.
Referência 268

Vecci, L.; Campolucci, P.; Piazza, F.; Uncini, A. Approximation capabilities of adaptive spline neural networks, International Conference on Neural Networks, vol.1, pp. 260-265, June 1997.

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: funções de transferência, sistemas adaptativos, generalização, splines, aproximação de funções

Comentários: neste paper, são estudadas as propriedades de redes neurais baseadas em funções de ativação adaptativas. Usando os resultados da teoria da regulação, mostra-se como a arquitetura proposta é capaz de produzir aproximações suaves de funções desconhecidas; sugere-se, a fim de reduzir a complexidade de hardware, uma implementação dos pontos centrais esperados pela teoria.
Referência 269

Vecci, L.; Piazza, F.; Uncini, A., Learning and Approximation Capabilities of Adaptive Spline Activation Function Neural Networks, Neural Networks Vol.11, No.2, pp. 271-282, 1998

Fonte: infocom.uniroma1.it/aurel/papers98/ASNN_NN.pdf

Resumo: sim

Artigo Completo: sim

Palavras-Chave: splines, perceptron, generalização, redes neurais, funções sigmoidais

Comentários: os autores deste paper fazem um estudo das propriedades teóricas de um novo tipo de rede neural artificial, que são capazes de adaptar suas funções de ativação pela variação dos pontos de controle. São utilizadas técnicas de regularização e são analisados o treinamento e a capacidade de generalização dessas redes neurais.
Referência 270

Wahba, G. Generalization and regularization in nonlinear learning systems, In M. Arbib, editor, The Handbook of Brain Theory and Neural Networks, pages 426-430. MIT Press, Cambridge, MA, 1995.

Fonte: ResearchIndex (CiteSeer): http://citeseer.nj.nec.com/

Resumo: não

Artigo Completo: não

Palavras-Chave: ruído, generalização, regularização, sistemas de aprendizado

Comentários: não há informação suficiente.

Referência 271

Wahba, G.; Lin, X.; Gao, F.; Xiang, D.; Klein, R.; Klein, B. The bias-variance tradeoff and the randomized GACV, Advances in Information Processing Systems, vol. 11, M. Kearns, S. Solla and D. Cohn, eds, MIT Press, 1998.

Fonte: http://www.stat.wisc.edu/~wahba/pubs/wahba.bib

Resumo: não

Artigo Completo: não

Palavras-Chave: dilema bias/variância, regularização

Comentários: não há informação suficiente.

Referência 272

Williams, P.M. Improved generalization and network pruning using adaptive Laplace regularization, In Proceedings of 3rd IEE International Conference on Artificial Neural Networks, pages 76-80, Institution of Electrical Engineers, London, 1993.

Fonte: ResearchIndex (CiteSeer): http://citeseer.nj.nec.com/

Resumo: não

Artigo Completo: não

Palavras-Chave: bias, parâmetros de regularização, Gamma prior

Comentários: não há informação suficiente.
Referência 273

Williamson, R.C.; Smola, A.J.; Scholkopf, B. Generalization performance of regularization networks and support vector machines via entropy numbers of compact operators, Technical Report NC-TR-98-019, Royal Holloway College, University of London, UK, 1998.

Fonte: ResearchIndex (CiteSeer): http://citeseer.nj.nec.com/

Resumo: sim

Artigo Completo: sim

Palavras-Chave: erro de generalização, redes de regularização, aprendizado, mapeamento linear

Comentários: os autores deste paper apresentam novos limites para o erro de generalização em vetores de suporte e redes de regularização relacionadas. As provas fazem uso de um ponto de vista que é aparentemente novo no campo da teoria de aprendizado estatístico. Este é um artigo largamente citado na literatura.

5. Splines suavizantes/Projection Pursuit

As funções splines são exemplos de aproximadores polinomiais. A idéia básica por detrás do método de splines é dividir uma região de aproximação em um número finito de sub-regiões através do uso de nós; os nós podem ser fixos, no caso de os aproximadores serem linearmente parametrizados, ou podem ser variáveis, no caso de os aproximadores serem não-lineares. Em ambos os casos, em cada região da aproximação é usado um polinômio de, no máximo, grau n, com a restrição de que a função geral seja n-1 vezes diferenciável. As splines polinomiais suavizantes são usadas em certas funções de regularização. Portanto, os conceitos de splines, regularização e suavidade estão intimamente ligados. O conceito de projection pursuit está ligado à busca da direção inicial de projeção.

Os trabalhos publicados neste assunto, dentre os quais escolheu-se alguns dos mais representativos para serem aqui apresentados (como o de Friedman & Tukey, por exemplo), fazem diversas considerações a respeito do uso dos splines suavizantes na regularização. Alguns destes artigos fazem diversas considerações teóricas a respeito do uso mais adequado desses splines na regularização, enquanto que outros fazem uso dos splines suavizantes e da regularização em aplicações como wavelets, processamento e recuperação de imagens, reconhecimento de padrões, análise de dados, etc. Quanto aos trabalhos abordando o assunto de projection pursuit, há um forte apelo teórico, especialmente na busca por algoritmos mais eficientes para se obter a direção inicial de projeção ideal. Alguns desses artigos abordam a questão da regressão de projection pursuit generalizada. A seguir são apresentados alguns trabalhos que ilustram e fornecem uma melhor visão da estado da arte dos assuntos abordados nesta seção.

Referências:
Referência 274

Ainsleigh, P.L.; Chui, C.K. Simultaneous wavelet and spline smoothing of noisy data, IEEE International Conference on Acoustics, Speech, and Signal Processing, ICASSP-93, vol. 3, pp. 197-200, April 1993.

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: splines suavizantes, wavelets, dados ruidosos, validação cruzada generalizada, filtro FIR

Comentários: dois algoritmos de suavização de dados usando transformadas wavelets são propostos. Estes algoritmos fazem uso das capacidades de localização de tempo e freqüência das wavelets. O primeiro algoritmo é uma filtragem do tipo FIR. O segundo é baseado na validação cruzada generalizada.
Referência 275

Berman, M. Automated smoothing of image and other regularly spaced data, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 16, no. 5, pp. 460-468, 1994.

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: splines suavizantes, validação cruzada generalizada, transformada de Fourier, processamento de imagens

Comentários: este paper é primariamente motivado pela remoção automática de ruído indesejado de um sistema de sensoriamento remoto de imagens. É mostrado que a smoothing spline generalizada e com validação cruzada é facilmente aproximada e computada no domínio da freqüência, através de uma transformada de Fourier.

Referência 276

Chen, M.H.; Chin, R.T. Partial smoothing splines for noisy +boundaries with corners, Pattern Analysis and IEEE Transactions on Machine Intelligence, pp. 1208-1216, vol. 15, no. 11, Nov. 1993.

Fonte: base de dados IEEE/IEE - BAE

Resumo: sim

Artigo Completo: sim

Palavras-Chave: splines suavizantes, função paramétrica, validação cruzada, detecção de contorno, suavidade