CS 182: Lecture 1, Part 3: Introduction

무엇이 딥러닝을 작동하게 하는가

1. 많은 층을 가진 큰 모델

2. 다량의 데이터셋

3. 이것들을 전부 처리할 수 있는 컴퓨터

 

일반적으로 layer가 많을수록 모델의 성능이 좋다.

layer가 많다는것은 추상화를 더 많이 한다는것이고 그렇다면 결과가 좋기 때문이다.

이 결과는 ResNet의 과거 벤치마킹자료로 알 수 있는데, shallow model의 성능이 가장 안좋고 152개의 layer를 가진 model의 성능이 가장 좋다.

 

딥러닝에 대해 크게 두가지 관점이 있다고 한다. (21년도 강의 기준)

1. 별로다. 너무 큰 모델, 큰 데이터, 큰 컴퓨팅이 필요하다

2. 좋다. 우리가 데이터, layer, 컴퓨팅을 추가할수록 모델은 더더욱 좋아질 것이다.

 

많은 데이터와 고용량 모델을 사용한다면 feature 혹은 representation을 수동으로 조정해주지 않아도 representation을 얻을 수 있다.

즉, 사람이 어떤게 좋은 피쳐인지 몰라도 된다. 어차피 end-to-end로 모델이 알아서 학습해서 좋은 성능을 낸다.

모델을 만든 사람이 미리 넣어둔 insight, 즉 귀납적 편향 (Inductive Bias)는 완전히 제거할 수는 없다. 이게 모델이 학습하는데에 도움이 된다.

확장가능한 알고리즘은 우리가 데이터, 용량, 컴퓨팅을 추가할수록 성능이 증가하는 알고리즘을 의미한다.

 

왜 신경망을 신경망이라고 부르는가?

뇌는 뉴런으로 이루어진 신경망으로 되어있고, 인공 뉴런은 이것과 비슷하게 작동하는것처럼 보인다.

작동방식: 입력 신호를 받아 fire를 할지 결정하고 출력값을 다음 뉴런으로 전달한다.

실제 뇌는 threshold(역치) 값을 넘으면 fire 하는데, 인공 뉴런은 활성화함수에서 fire할지 결정한다.

 

한계점

1. 뉴런의 일부 기능만 모사

2. 다른 중요한 생물학적 매커니즘은 반영되지 않음

3. 생물학적인 뇌를 정확하게 재현한것은 아니다.

 

그렇다 하더라도 뇌와 인공신경망은 비슷하게 주의를 기울인다는게 중요하다.

마치 비행기와 새가 완벽하게 같진 않지만 날기위해 비슷하게 작동하는 것처럼.

 

---

이제 Introduction이 끝났습니다.

몇학년이 듣는 강의인지는 모르겠지만, OT 수업부터 내용이 어렵네요.

저는 기초 공부는 이미 한 상태라 전부 이해가 됐는데, 아예 AI가 뭔지 모르는 사람들은 이해하기 어려울거같습니다.

다음 강의는 머신러닝 기초인데 기대가 됩니다.