삶은달걀노른자

Chapter 05 딥러닝의 효율을 향상시키는 다양한 기술 ​ 딥러닝은 높은 예측 성능을 보여주지만, 방대한 계산과 높은 전력 소모라는 단점이 존재한다. 따라서 딥러닝을 가볍게 하는 접근, 즉 알고리즘 측면에서 인공신경망을 줄이는 것과 딥러닝에 최적화된 하드웨어를 개발하는 기술이 연구되고 있다. ​ ​ ■ 심층 압축 (Deep Compression) ​ 네트워크 프루닝, 양자화, 허프만 코딩 기법을 도입한 방법이다. 허프만 코딩은 주어진 정보를 손실없이 압축하는 방법이다. 심층 압축은 기존 프루닝 기법의 90% 보다 큰 97%의 효율을 보장한다. ​ ​ ■ 이진신경망 (Binary Neural Network) ​ 일반적인 인공신경망이 실수의 단정밀도 32비트를 사용하는 데 반해 이진신경망은 1비트로 표현..

Chapter 05 딥러닝의 효율을 향상시키는 다양한 기술 ​ 딥러닝은 높은 예측 성능을 보여주지만, 방대한 계산과 높은 전력 소모라는 단점이 존재한다. 따라서 딥러닝을 가볍게 하는 접근, 즉 알고리즘 측면에서 인공신경망을 줄이는 것과 딥러닝에 최적화된 하드웨어를 개발하는 기술이 연구되고 있다. ​ ​ ■ 딥러닝의 학습용 하드웨어 ​ 딥러닝 계산에 필요한 하드웨어는 크게 학습용와 추론용으로 나눌 수 있다. 학습용 하드웨어는 대부분 GPU를 사용하며 다수의 GPU를 하나의 신경망 학습에 사용하는 방법이 있으나 이는 전력을 많이 소모한다. 그외 딥러닝에 최적화된 하드웨어로는 FPGA나 구글이 개발한 TPU가 있다. ​ ■ 딥러닝의 추론용 하드웨어 ​ 딥러닝 추론의 예로는 자율주행자동차에서 카메라 영상과 센서..

■ 스파이킹 신경망 (Spiking Neural Network) 인공신경망보다 좀 더 생물학적인 신경망에 가까운 형태로서 지금의 인공신경망과 생물학적 신경망의 중간에 위치한다. 딥러닝보다 더 낮은 전력의 전용 뉴로모픽 칩을 통해 학습한다. 현재 스파이킹 신경망은 딥러닝과 유사하거나 조금 미흡한 정도의 성능으로 발전하고 있다. ​ ​ ■ 활성 학습 (Active Learning) ​ 딥러닝은 양질의 데이터가 많으면 많을 수록 성능이 좋아진다. 이미지에서 객체를 인식하는 데이터의 경우 이미지에 객체를 라벨링하는 것이 결국 데이터 확보인데 이는 비용과 직결된다. 활성 학습은 라벨이 없는 데이터에 자동으로 라벨링을 하는 방법이다. 어느정도 학습된 신경망에서 일정 기준 이상의 예측확률 값에 대해 라벨을 자동으로 ..

Chapter 05 딥러닝의 한계를 뛰어넘는 최신 기술 ​ 현재의 딥러닝은 인공신경망이라는 틀에서 출발하기 때문에 한계가 명확한 기술이다. 학계에서는 이러한 딥러닝의 한계를 뛰어 넘기 위해 노력하고 있다. (더 적은 양의 데이터와 더 효율적인 학습 방법) ​ ​ ■ 메타 학습 (Meta-Learning) ​ 사람은 경험을 기반으로 소량의 데이터만으로도 학습이 가능한 반면, 딥러닝은 방대한 데이터가 필요하고 지식의 전이도 자유롭지 못하다. 메타 학습은 학습하는 방법을 학습하는 것으로 인공지능의 궁극적인 목표인 사람 수준의 지능을 구현하기 위한 방법이다. ​ ■ 원샷 학습 (One-Shot Leaning) ​ 대표적인 메타 학습 방법으로, 이미 학습된 인공신경망을 가지고 오직 한 개의 데이터만으로 학습을 하..

Chapter 04 딥마인드의 알파스타 ​​ 알파스타는 스타크래프트2의 인공지능 프로그램으로 알파고로 유명해진 구글 딥마인드에서 만들었다. 이는 최신 딥러닝 기술을 십분 활용한 결과물이다. ​ 알파스타는 2019년에 공개되어 세계 정상급 프로게이머와의 대결에서 10승 1패를 거둠으로써 세간을 놀라게 했다. ​ 알파스타는 이전의 알파고와는 매우 다른 형태의 인공지능으로 구현되어야 한다. 바둑은 경우의 수가 거의 무한대로 이를 어떻게 좁히느냐가 중요한 반면, 알파스타는 실시간 전략이 핵심이며 게임의 진행 상황에 따라 목표가 달라진다는 특징이 있다. 또한 정찰이라는 행위를 통해 상대의 정보를 얻고 이를 통해 자신의 전략을 고도화해야 한다. 이를 인공지능 용어로 Long-Term Planning 이라고 한다. ..

■ 딥러닝과 컴퓨팅 파워 ​ GPU는 수천 개의 코어로 구성된 연산장치로 2009년부터 본격적으로 부상하였고 이론적인 성능은 같은 가격의 CPU 보다 약 10배 이상 높은 반면 메모리 전송이 많은 알고리즘에서는 성능이 급격히 떨어진다. 그러나 2012년 이미지 인식 경진대회에서 우승한 AlexNet 알고리즘이 GPU에 특화된 인공신경망을 구성하여서 딥러닝에 최적화된 자원으로 주목받았고 이는 현재까지 이어지고 있다. ​ 구글은 딥러닝 전용 하드웨어인 텐서 연산 처리 장치 TPU를 개발하여 GPU 보다 전력소모를 8배 감소시켰고, 인공신경망 자체를 하드웨어로 구현한 뉴로모픽 칩 (Neuromorphic Chip)의 개발은 세계적인 관심을 받고 있다. ​ ■ 인공신경망의 학습과 최적의 모델 ​ 최적의 인공신경..

Chapter 02 딥러닝의 한계 ​ 01. 딥러닝과 데이터 ​ 딥러닝에서는 데이터의 절대량이 무엇보다 중요하다. 여러 경로로부터 수집된 데이터는 딥러닝에 활용되기 전에 '전처리'라는 과정을 거치는데 이것이 실제 딥러닝의 학습보다 더 많은 시간과 비용을 소요한다. 따라서 전처리의 수준은 경험적으로 결정하는 것이 일반적이다. ​ 02. 데이터의 가치 ​ 딥러닝에서 유의미한 결과를 보여주는 부분은 지도학습 (Supervised Learning)을 활용한 것인데 이를 위해서는 출력 데이터에 라벨링이 되어 있어야 한다. 이는 단순히 데이터만으로는 학습이 불가능함을 보여주고 이 작업은 결국 사람이 해야 되므로 비용과 직결된다. 따라서 이런 데이터는 높은 가치를 갖게 되고 최근 미국을 시작으로 전개되고 있는 데이터..

Chapter 01 딥러닝의 기본 ​​ 05. 딥러닝의 부상 ​ 빅데이터가 나오면서 규칙기반 인공지능에서 학습기반 인공지능(IBM의 왓슨이 대표적)으로 패러다임이 전환되었다. 딥러닝에서 데이터 확보는 매우 중요하다. 또한 GPU를 활용하고 고성능의 컴퓨팅 자원을 통해 성공적인 인공지능을 구현할 수 있다. ​ ​ 06. 심층신경망 (Deep Neural Network) ​ 심층이라는 말은 다수의 은닉층을 구성한다는 것이다. 학습과정에서는 초기 가중치가 중요한데, 가중치가 많아질수록 신경망의 복잡도는 증가하고 손실함수의 최소값을 찾는 과정이 지역적인 최소값에 매몰될 가능성이 크다. 이런 단점을 극복하고자 초기 가중치를 얻기 위해 비지도학습을 적용하고 이후 지도학습을 수행한다. ​ 다수의 가중치는 과적합(Ov..

최근 라는 책을 읽으면서 정리한 용어를 올려본다. 딥러닝이라는 주제가 워낙 어렵기도 하고 나의 배경지식이 짧은 탓에 온전히 이해한 건 많지 않지만, 추후 개인적인 학습을 위해 정리해 보고자 한다. ​ ​ Chapter 01 딥러닝의 기본 ​ 01. 퍼셉트론과 엣지 Perceptron and Edge ​ 인공신경망에서 퍼셉트론은 신경세포(뉴런), 엣지는 신경세포를 연결하는 시냅스를 표현한 것이다. 퍼셉트론은 노드라고도 하며 엣지는 두 노드를 연결하는 가중치(Weight)라고도 표현한다. 인공지능의 학습과정은 최적의 weight를 찾는 행위이다. ​ 02. 인공신경망 Artificial Neural Network ​ 인공신경망의 가장 일반적인 형태는 다층 퍼셉트론 구조로서 입력층, 은닉층, 출력층으로 구성된..