Implementation of Neural Network Based on Floating Point Operation in FPGA

Implementation of neural network hardware based on a floating point operation in an FPGA

 

Abstract : This paper presents a hardware design and implementation of the radial basis function (RBF) neural network (NN) by the hardware description language. Due to its nonlinear characteristics, it is very difficult to implement for a system with integer-based operation. To develop nonlinear functions such sigmoid functions or exponential functions, floating point operations are required. The exponential function is designed based on the 32bit single-precision floating-point format. In addition, to update weights in the network, the back-propagation algorithm is also implemented in the hardware. Most operations are performed in the floating-point based arithmetic unit and accomplished sequentially by the instruction order stored in ROM. The NN is implemented and tested on the Altera FPGA “Cyclone2 EP2C70F672C8” for nonlinear classifications.

 

초록: 이 논문은 Radial Basis Function(RBF) 신경 회로망을 HDL로 구현 및 이의 하드웨어 설계에 대한 내용이다. RBF 신경 회로망은 비선형적인 특성 때문에 정수 기반의 연산으로는 신경망 시스템을 구현하기 어렵다. 시그모이드 함수나 지수 함수와 같은 비선형 함수들을 연산 가능하도록 하기 위해서는 부동소수점 기반의 연산이 필요하다. 지수함수는 32bit 단정도 부동소수점 형식으로 연산이 수행된다. 또한, 구현된 하드웨어에서 역전파 알고리즘을 통해 신경 회로망 내부의 가중치 값은 업데이트가 된다. 대부분의 연산은 부동소수점 연산기와  ROM에 저장된 명령어의 순서대로 순차적으로 처리된다. 설계된 신경회로망은 알테라의 FPGA인 Cyclone2 EP2C70F672C8에 구현되었으며, 테스트되었다.

 

국제 메카트로닉스 정보 기술 학회(International Conference on Mechatronics and Information Technology),

2007년 12월, 일본

implementation_of_neural_network_based_on_floating_point_op.pdf