THE ROBUSTNESS OF NEURAL NETWORKS IN PATTERN RECOGNITION TASKS USING NEW TARGETS VECTORS

Autores

  • José Ricardo Gonçalves Manzan Professor Dr. do Instituto Federal de Educação, Ciência e Tecnologia do Triângulo Mineiro - IFTM, Uberaba, MG, Brasil.
  • Keiji Yamanaka Professor Dr. da Universidade Federal de Uberlândia – UFU, Uberlândia, MG, Brasil.
  • Tiago Elias Carvalho Oliveira Bacharel em Engenharia de Computação pelo Instituto Federal de Educação, Ciência e Tecnologia do Triângulo Mineiro – IFTM, Uberaba, MG, Brasil.
  • Igor Santos Peretta Professor Dr. da Universidade Federal de Uberlândia – UFU, Uberlândia, MG, Brasil.
  • Shigueo Nomura Professor Dr. da Universidade Federal de Uberlândia – UFU, Uberlândia, MG, Brasil.
  • Ana Paula Arantes Lima Manzan Professora Ms. da Faculdade de Talentos Humanos – FACTHUS, Uberaba, MG, Brasil.

Palavras-chave:

Multilayer Perceptron, Vetores Bipolares Ortogonais, Distância Euclidiana.

Resumo

Este trabalho propõe o uso de novos vetores alvo em redes neurais artificiais (ANNs) do tipo multilayer perceptron (MLP) a fim de proporcionar maior robustez diante das mudanças dos parâmetros de treinamento. Estes são alvos com distância euclidiana aumentada denominados como vetores bipolares ortogonais (OBVs). Pela característica geométrica de bipolaridade e perpendicularidade, estes alvos são localizados no espaço n-dimensional, estando a maior distância possível um do outro. Esta maior distância mútua dos pontos do espaço de saída facilita a tarefa das ANNs na classificação de padrões. Isto garante maior desempenho para MLP até mesmo em situações em que os parâmetros não são bons para ANNs treinadas com alvos convencionais. Assim, a robustez obtida por meio do uso de OBVs facilita o use de MLPs por pessoas que não tem experiência na escolha dos parâmetros de treinamento. A Análise de robustez foi realizada com a utilização de experimentos de reconhecimento, por MLPs, de três tipos de conjuntos de dados: (a) Dígitos manuscritos do Machine Learning Repository; (b) De imagens de Iris humana da Chinese Academy of Sciences – CASIA; e (c) Signos de linguagem australiana, sinais do Machine Learning Repository. Os resultados experimentais mostram que o uso de OBVs como  alvos de MLPs reduz a perda de desempenho causada pela escolha de parâmetros. A média de desempenho obtida com o uso de OBVs é de até 15% maior que aquela obtida com vetores convencionais.

Biografia do Autor

José Ricardo Gonçalves Manzan, Professor Dr. do Instituto Federal de Educação, Ciência e Tecnologia do Triângulo Mineiro - IFTM, Uberaba, MG, Brasil.


Referências

CHINESE ACADEMY OF SCIENCES (CASIA). Human Iris: database of 756: greyscale eye images. [ S.l.]: Institute of Automation, 2010.

CIRESAN, D.; MEIER, U.; GAMBARDELLA, L.; SCHMIDHUBER, J. Deep big Multilayer perceptrons for digit recognition. . Lecture Notes in Computer Science, v. 7700, p. 581-598, 2012. DOI: 10.1007/978-3-642-35289-8_31.

FAUSSET, L. Fundamentals of neural networks: arquitectures, algorithms, and applications. Prentice-Hall, Inc., 1994.

HAYKIN, S. Neural networks and learning machines. v. 03, Pearson Education Upper Saddle River, 2009.

HUANG, G.; HUANG, G. B.; SONG, S.; YOU, K. Trends in extreme learning machines: a review. Neural Networks, v.61, p. 32-48, 2015. DOI: http://dx.doi.org/10.1016/j.neunet.2014.10.001.

HWANG, J. N.; CHOI, J. J.; OH, S.; MARKS, R. J. Query-based learning applied to partially trained multilayer perceptrons. IEEE Transactions on Neural Networks, v. 02, n. 01, p. 131-136, 1991. DOI: 10.1109/72.80299.

ISA, Nor Ashidi Mat; MAMAT, Wan Mohd Fahmi Wan. Clustered-hybrid multilayer perceptron network for pattern recognition application. Applied Soft Computing, v. 11, n. 1, p. 1457-1466, 2011.

KADOUS, M. W. Temporal classification: extending the classification paradigma to multivariate time series. New South Wales: The University of New South Wales, 2002.

LAWRENCE, S.; BURNS, I.; BACK, A.; TSOI A.; GILES, C. L. Neural network classification and prior class probabilities. Lecture Notes in Computer Science, v. 1524, p. 299-313, 1998. DOI: 10.1007/3-540-49430-8_15.

LEE, C. H.; CHANG, F. K.; KUO, C. T.; CHANG, H. H. A hybrid of electromagnetism-like mechanism and back-propagation algorithms for recurrent neural fuzzy systems design. International Journal of Systems Science, v. 43, n. 02, p. 231-247, 2012. DOI: 10.1080/00207721.2010.488758.

LEE, C. M.; YANG, S. S.; HO, C. L. Modified back-propagation algorithm applied to decision-feedback equalisation. IEE Proceedings Vision, Image and Signal Processing, v. 153, n. 06, p. 805-809, 2006. DOI: 10.1049/ip-vis:20050139.

LICHMAN, M. UCI Machine Learning Repository. Irvine: School of Information and Computer Sciences, University of California, 2013.

MANZAN, J. R. G.; YAMANAKA, K.; PERETTA, I. S.; PINTO, E. R.; OLIVEIRA, T. E. C.; NOMURA, S. A mathematical discussion concerning the performance multilayer perceptron-type artificial neural networks through use of orthogonal bipolar vectors. Computational & Applied Mathematics, v. 01, p. 01-12, 2006. DOI: https://doi.org/10.1007/s40314-016-0377-x

NEGIN, M.; CHMIELEWSKI; SALGANICOFF, M.; CAMUS, T. A.; VON SELEN, U.M.C.; VENETIANER, P.L.; ZHANG, G.G. An Iris Biometric System for Public and Personal Use. Computer, v. 33, n. 02, p. 70-75, 2000. DOI: 10.1109/2.820042.

RUCK, D. W.; ROGERS, S.K.; KABRISKY, M.; OXLEY, M.E.; SUTER, B.W. The multilayer perceptron as approximation to a Bayes optimal discriminant function. IEEE Transactions on Neural Networks, v. 01, n. 04, p. 296-298, 1990. DOI: 10.1109/72.80266.

SAMAL, A.; PANDA, J.; DAS, N. Performance Comparison of Single-Layer Perceptron and FLANN-Based Structure for Isolated Digit Recognition. Advances in Intelligent Systems and Computing – Intelligent Computing, Communication and Devices, v. 308, p. 237-246, 2015. DOI: 10.1007/978-81-322-2012-1_25.

SIVARAM, G. S. V. S.; HERMANSKY, H. Sparse Multilayer Perceptron for Phoneme Recognition. IEEE Transactions on Audio, Speech, and Language Processing, v. 20, n. 01, p. 23-29, 2012. DOI: 10.1109/TASL.2011.2129510.

Downloads

Publicado

24-03-2020

Como Citar

Manzan, J. R. G., Yamanaka, K., Oliveira, T. E. C., Peretta, I. S., Nomura, S., & Manzan, A. P. A. L. (2020). THE ROBUSTNESS OF NEURAL NETWORKS IN PATTERN RECOGNITION TASKS USING NEW TARGETS VECTORS. Revista Inova Ciência & Tecnologia / Innovative Science & Technology Journal, 6(1), 40–48. Recuperado de https://periodicos.iftm.edu.br/index.php/inova/article/view/877

Edição

Seção

Ciências Exatas e da Terra - Ciência da Computação