THE ROBUSTNESS OF NEURAL NETWORKS IN PATTERN RECOGNITION TASKS USING NEW TARGETS VECTORS

José Ricardo Gonçalves Manzan, Keiji Yamanaka, Tiago Elias Carvalho Oliveira, Igor Santos Peretta, Shigueo Nomura, Ana Paula Arantes Lima Manzan

Resumo


Este trabalho propõe o uso de novos vetores alvo em redes neurais artificiais (ANNs) do tipo multilayer perceptron (MLP) a fim de proporcionar maior robustez diante das mudanças dos parâmetros de treinamento. Estes são alvos com distância euclidiana aumentada denominados como vetores bipolares ortogonais (OBVs). Pela característica geométrica de bipolaridade e perpendicularidade, estes alvos são localizados no espaço n-dimensional, estando a maior distância possível um do outro. Esta maior distância mútua dos pontos do espaço de saída facilita a tarefa das ANNs na classificação de padrões. Isto garante maior desempenho para MLP até mesmo em situações em que os parâmetros não são bons para ANNs treinadas com alvos convencionais. Assim, a robustez obtida por meio do uso de OBVs facilita o use de MLPs por pessoas que não tem experiência na escolha dos parâmetros de treinamento. A Análise de robustez foi realizada com a utilização de experimentos de reconhecimento, por MLPs, de três tipos de conjuntos de dados: (a) Dígitos manuscritos do Machine Learning Repository; (b) De imagens de Iris humana da Chinese Academy of Sciences – CASIA; e (c) Signos de linguagem australiana, sinais do Machine Learning Repository. Os resultados experimentais mostram que o uso de OBVs como  alvos de MLPs reduz a perda de desempenho causada pela escolha de parâmetros. A média de desempenho obtida com o uso de OBVs é de até 15% maior que aquela obtida com vetores convencionais.


Palavras-chave


Multilayer Perceptron; Vetores Bipolares Ortogonais; Distância Euclidiana.

Texto completo:

PDF

Referências


CHINESE ACADEMY OF SCIENCES (CASIA). Human Iris: database of 756: greyscale eye images. [ S.l.]: Institute of Automation, 2010.

CIRESAN, D.; MEIER, U.; GAMBARDELLA, L.; SCHMIDHUBER, J. Deep big Multilayer perceptrons for digit recognition. . Lecture Notes in Computer Science, v. 7700, p. 581-598, 2012. DOI: 10.1007/978-3-642-35289-8_31.

FAUSSET, L. Fundamentals of neural networks: arquitectures, algorithms, and applications. Prentice-Hall, Inc., 1994.

HAYKIN, S. Neural networks and learning machines. v. 03, Pearson Education Upper Saddle River, 2009.

HUANG, G.; HUANG, G. B.; SONG, S.; YOU, K. Trends in extreme learning machines: a review. Neural Networks, v.61, p. 32-48, 2015. DOI: http://dx.doi.org/10.1016/j.neunet.2014.10.001.

HWANG, J. N.; CHOI, J. J.; OH, S.; MARKS, R. J. Query-based learning applied to partially trained multilayer perceptrons. IEEE Transactions on Neural Networks, v. 02, n. 01, p. 131-136, 1991. DOI: 10.1109/72.80299.

ISA, Nor Ashidi Mat; MAMAT, Wan Mohd Fahmi Wan. Clustered-hybrid multilayer perceptron network for pattern recognition application. Applied Soft Computing, v. 11, n. 1, p. 1457-1466, 2011.

KADOUS, M. W. Temporal classification: extending the classification paradigma to multivariate time series. New South Wales: The University of New South Wales, 2002.

LAWRENCE, S.; BURNS, I.; BACK, A.; TSOI A.; GILES, C. L. Neural network classification and prior class probabilities. Lecture Notes in Computer Science, v. 1524, p. 299-313, 1998. DOI: 10.1007/3-540-49430-8_15.

LEE, C. H.; CHANG, F. K.; KUO, C. T.; CHANG, H. H. A hybrid of electromagnetism-like mechanism and back-propagation algorithms for recurrent neural fuzzy systems design. International Journal of Systems Science, v. 43, n. 02, p. 231-247, 2012. DOI: 10.1080/00207721.2010.488758.

LEE, C. M.; YANG, S. S.; HO, C. L. Modified back-propagation algorithm applied to decision-feedback equalisation. IEE Proceedings Vision, Image and Signal Processing, v. 153, n. 06, p. 805-809, 2006. DOI: 10.1049/ip-vis:20050139.

LICHMAN, M. UCI Machine Learning Repository. Irvine: School of Information and Computer Sciences, University of California, 2013.

MANZAN, J. R. G.; YAMANAKA, K.; PERETTA, I. S.; PINTO, E. R.; OLIVEIRA, T. E. C.; NOMURA, S. A mathematical discussion concerning the performance multilayer perceptron-type artificial neural networks through use of orthogonal bipolar vectors. Computational & Applied Mathematics, v. 01, p. 01-12, 2006. DOI: https://doi.org/10.1007/s40314-016-0377-x

NEGIN, M.; CHMIELEWSKI; SALGANICOFF, M.; CAMUS, T. A.; VON SELEN, U.M.C.; VENETIANER, P.L.; ZHANG, G.G. An Iris Biometric System for Public and Personal Use. Computer, v. 33, n. 02, p. 70-75, 2000. DOI: 10.1109/2.820042.

RUCK, D. W.; ROGERS, S.K.; KABRISKY, M.; OXLEY, M.E.; SUTER, B.W. The multilayer perceptron as approximation to a Bayes optimal discriminant function. IEEE Transactions on Neural Networks, v. 01, n. 04, p. 296-298, 1990. DOI: 10.1109/72.80266.

SAMAL, A.; PANDA, J.; DAS, N. Performance Comparison of Single-Layer Perceptron and FLANN-Based Structure for Isolated Digit Recognition. Advances in Intelligent Systems and Computing – Intelligent Computing, Communication and Devices, v. 308, p. 237-246, 2015. DOI: 10.1007/978-81-322-2012-1_25.

SIVARAM, G. S. V. S.; HERMANSKY, H. Sparse Multilayer Perceptron for Phoneme Recognition. IEEE Transactions on Audio, Speech, and Language Processing, v. 20, n. 01, p. 23-29, 2012. DOI: 10.1109/TASL.2011.2129510.


Apontamentos

  • Não há apontamentos.


Creative Commons License
This work is licensed under a Creative Commons Attribution 3.0 License.

Avaliação Qualis-Capes confirma a importância da revista científica do IFTM

A Revista Inova Ciência & Tecnologia / Innovative Science & Technology Journal (RICT/ISTJ), publicada pela EDITORA IFTM, é bem avaliada pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES).

Confira a classificação por áreas no Qualis-CAPES 2017:

ENSINOB3
EDUCAÇÃOB4
ADMINISTRAÇÃO PÚBLICA E DE EMPRESAS CIÊNCIAS CONTÁBEIS E TURISMOB4
CIÊNCIAS AGRÁRIAS IB5
ENGENHARIAS IB5
CIÊNCIA DOS ALIMENTOSC

O Qualis 2017 é um conjunto de procedimentos utilizados pela CAPES para estratificação da qualidade da produção intelectual dos programas de pós-graduação.

Atualmente, a Revista Inova Ciência & Tecnologia possui 6 indexadores:

Indexadores

Abbreviated key title         Rev. Inova Ciênc. Tecnol. (Online)