Um Modelo Híbrido MLP-SVM para Reconhecimento de Caracteres Manuscritos Cursivos

• Washington W. Azevedo UFPE
• Cleber Zanchettin UFPE

Resumo

Este artigo apresenta um método híbrido MLP-SVM para o reconhecimento de caracteres cursivos. Support Vector Machines (SVMs) especializados são introduzidos para melhorar significativamente o desempenho da Multilayer Perceptron (MLP) nas áreas locais em torno das superfícies de separação entre cada par de caracteres, no espaço de padrões de entrada. Essa arquitetura híbrida é baseada na observação de que ao utilizar MLPs na tarefa de reconhecimento de caracteres manuscritos, a classe correta é quase sempre uma das duas saídas máximas da MLP. A segunda observação é que a maioria dos erros consiste em pares de classes nos quais os caracteres possuem similaridades (ex. (U, V), (m, n), (O, Q), entre outros). SVMs locais especializados são introduzidos para detectar a classe correta entre estas duas hipóteses de classificação. O reconhecedor híbrido MLP-SVM apresentou melhoria, significativa, no desempenho em termos de taxa de reconhecimento em comparação com uma MLP para uma tarefa de reconhecimento de caracteres.

Referências

Aires, S. B. K., Reconhecimento de caracteres manuscritos baseados em regiões perceptivas. Dissertação de Mestrado. Pontifícia Universidade Católica do Paraná. Curitiba. 2005.

Bellili, A., Gilloux, M., and Gallinari, P., "An Hybrid MLP-SVM Handwritten Digit Recognizer," icdar, pp.0028, Sixth International Conference on Document Analysis and Recognition (ICDAR'01), 2001.

Camastra, F., “A svm-based cursive character recognizer,”Pattern Recognition, vol. 40, no. 12, pp. 3721–3727, 2007.

Camastra, F., Spinetti, M., and Vinciarelli, A., “Offline cursive character challenge: a new benchmark for machine learning and pattern recognition algorithms.,” Proceedings of the 18th International Conference on Pattern Recognition, pp. 913–916, 2006.

Cruz, R. M. O., Cavalcanti, G. D. C. and Ren, T. I., “An Ensemble Classifier For Offline Cursive Character Recognition Using Multiple Feature Extraction Techniques”; IEEE International Joint Conference on Neural Networks (IJCNN), Barcelona, p. 744-751, 2010.

Goonatilake, S. and Khebabal, S. (Eds.). Intelligent Hybrid Systems, vol. 1. John Wiley and Sons, 1995.

Haykin, S. Neural Networks - A Comprehensive Foundation. [S.I.]: Prentice Hall, 1996.

Ho, T. K., Hull, J. J., Srihari, S.N. (1994) Decision Combination in Multiple Classifier Systems. IEEE Transactions on Pattern Analysis and Machine Intelligence 16(1):66–75.

Lauer, F., Suen, C. Y., and Bloch, G., “A trainable feature extractor for handwritten digit recognition,” Pattern Recognition, vol. 40, no. 6, pp. 1816–1824, 2007.

Nadal, C., Legault, R., Suen, C. Y. (1990) Complementary Algorithms for the Recognition of Totally Unconstrained Handwritten Numerals. In: Proceedings of the tenth International Conference on Pattern Recognition 1990. Atlantic City, NJ, USA, pp 443–449.

Plamondon, R. and Srihari, S. N., "On-Line and Off-Line Handwriting Recognition: A Comprehensive Survey," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.22, p. p. 63-84, 2000.

Ranzato, M., Boureau, Y., and LeCun, Y., “Sparse feature learning for deep belief networks,” Advances in Neural Information Processing Systems, pp. 1185–1192, 2008.

Riedmiller, M. and Braun, H., “A direct adaptive method for faster backpropagation learning: The rprop algorithm,” Proceedings of the IEEE International Conference on Neural Networks, pp. 586–591, 1993.

Rodrigues, R. J., Kupac, G. V., Thomé, A. C. G.; “Character Feature Extraction Using Polygonal Projection Sweep (Contour Detection)”, IWANN2001, Granade - Spain, June 13 a 15, LINCS, 2001, pp 687-695, 2001.

Rodrigues, R. J., Silva, E., Thomé, A. C. G., “Extração de Características para o Reconhecimento de Letras Manuscritas”, V Simpósio Brasileiro de Automação Inteligente - V SBAI, Canela, novembro de 2002.

Rodrigues, R. J., Silva, E., Thomé, A. C. G., “Feature Extraction Using Contour Projection”; 5th World Multiconference on Systemics, Cybernetics and Informatics SCI2001 – Orlando – USA, July 22 – 25.

Rumelhard, D.E. and Weigend, S.A., "Predicting the Future: A Connectionist Approach", International Journal of Neural Systems, pp. 193-209, 1990.

Simard, P. Y., Steinkraus, D., and Platt, J. C., “Best practices for convolutional neural networks applied to visual document analysis,” International Conference on Document Analysis and Recognition, vol. 2, pp. 958–963, 2003.

Thornton, J., Blumenstein, M., Nguyen, V., and Hine, T., “Offline cursive character recognition: A state-of-the-art comparison,” 14th Conference of the International Graphonomics Society, 2009.

Thornton, J., Blumenstein, M., Nguyen, V., and Hine, T., “Offline cursive character recognition: A state-of-the-art comparison,”14th Conference of the International Graphonomics Society, 2009.

Thornton, J., Faichney, J., Blumenstein, M., and Hine, T., “Character recognition using hierarchical vector quantization and temporal pooling,” Proceedings of the 21st Australasian Joint Conference on Artificial Intelligence, pp. 562–572, 2008.

Trier, O. D., Jain, A. K., and Taxt, T., “Feature extraction methods for character recognition: A survey,” Pattern Recognition, vol. 29, no. 4, pp. 641–662, 1995.

Vamvakas, G., Gatos, B., Perantonis, S. J., "Handwritten character recognition through two-stage foreground sub-sampling"; Pattern Recognition 43 (2010) 2807–2816.

Vapnik, V. N., “An overview of statistical learning theory”; IEEE Trans. on Neural Networks, 10(5):988–999, 1999.

Veloso, L. R., “Reconhecimento de Caracteres Numéricos Manuscritos.” Dissertação de Mestrado, Universidade Federal da Paraíba, Campina Grande, 1998.

Woods, K., Jr, W. P. K., and Bowyer, K.. Combination of multiple classifiers using local accuracy estimates. IEEE Trans. on PAMI, 19(4):405–410, 1997.