딥러닝 최신 용어정리 #8 학습용하드웨어 FPGA TPU 추론용하드웨어 모바일네트워크 깊이별로구분가능한합성곱 네트워크프루닝

Chapter 05 딥러닝의 효율을 향상시키는 다양한 기술

​

딥러닝은 높은 예측 성능을 보여주지만, 방대한 계산과 높은 전력 소모라는 단점이 존재한다. 따라서 딥러닝을 가볍게 하는 접근, 즉 알고리즘 측면에서 인공신경망을 줄이는 것과 딥러닝에 최적화된 하드웨어를 개발하는 기술이 연구되고 있다.

​

​

■ 딥러닝의 학습용 하드웨어

​

딥러닝 계산에 필요한 하드웨어는 크게 학습용와 추론용으로 나눌 수 있다.

학습용 하드웨어는 대부분 GPU를 사용하며 다수의 GPU를 하나의 신경망 학습에 사용하는 방법이 있으나 이는 전력을 많이 소모한다. 그외 딥러닝에 최적화된 하드웨어로는 FPGA나 구글이 개발한 TPU가 있다.

​

■ 딥러닝의 추론용 하드웨어

​

딥러닝 추론의 예로는 자율주행자동차에서 카메라 영상과 센서 정보를 통한 객체 인식이 있다. 자동차에 이러한 추론용 하드웨어를 탑재하기 위해서는 성능 크기, 전력소모 등을 모두 고려해야 한다. 또한 고속통신망이 안정적으로 운영되어야 한다. 통신 기반의 활용을 보완하기 위해서는 자동차 내부에 학습된 신경망이 있는 임베디드 컴퓨터를 탑재할 수 있다.

​

​

■ 딥러닝의 계산 효율과 정밀도

​

GPU에서는 연산처리 코어를 물리적으로 구분하는데, 이는 단정밀도와 배정밀도이다. 딥러닝에서는 단정밀도의 활용이 두드러지고 특히 학습에서는 대부분 단정밀도를 사용한다.

단정밀도는 32비트, 배정밀도는 64비트를 사용하여 계산한다.

 

​

​

728x90

 

 

■ 모바일 네트워크

​

구글은 2017년에 모바일 기기에 알맞은 경량 인공신경망을 제안했는데, 기존 합성곱(CNN)에 비해 적은 수의 가중치를 활용하여 계산을 덜 하는 ‘깊이별로 구분이 가능한 합성곱’을 고안하였다.

​

​

■ 네트워크 프루닝 (Network Pruning)

​

인공신경망에서 중요하지 않은 가중치를 제거한다는 의미이며, 이를 통해 신경망을 경량화 할 수 있다. 이렇게 하면 약 90% 정도의 가중치가 제거되면서 성능은 동일한 수준을 유지하지만, 경량화된 신경망 기준으로 가중치를 무작위 부여하고 학습하면 대부분 학습에 실패하게 된다. 따라서 2019년 발간된 논문에서는 ‘제비뽑기 가설’을 도입하였는데, 이는 주어진 원본에서 무작위로 구성한 부분 인공신경망이 원본 인공신경망에 적합한 성능을 갖게 하는 것이다.