SVM

1. SVM

 

- 널리 사용

- 패턴 인식, 자료 분석을 위한 지도 학습 모델

- 분류와 회귀 문제에 사용(주로 분류)

- 두 카테고리 중 어느 하나

- 커널트릭을 활용하여 비선형 분류 문제에도 사용 가능

 

• SVM 학습방향 : 마진 최대화

=> 결정 경계는 주변 데이터와의 거리가 최대가 되어야 함

• 용어

- 결정경계

- 서포트 벡터 : 결정 경계선에 가장 가까이에 있는 각 클래스의 데이터

- 마진

 

2.Linear SVM

 

Hard Margin SVM

 

선형 분리 가능한 문제

 

Soft Margin SVM

 

- 선형 분리 불가능 문제

- 학습 데이터의 에러가 0이 되도록 완벽하게 나누는 것을 불가능 -> !!에러 허용!!

 

3. Nonliear SVM

 

선형 SVM

 

(1) 하드마진 SVM

(2) 소프트 마진 SVM

 

비선형 SVM

 

- Kernel SVM

• 비선형 SVM

- 데이터를 선형으로 분류하기 위해 차원을 높이는 방법을 사용 by.Feature Map 

- 커널 : Feature Map의 내적

 

• 비선형 SVM 해법

- SVM 모델을 Feature space에서 학습

- 고차원 Feature space를 효율적으로 계산할 수 있음

 

• 비선형 SVM의 커널 선정 법 => 실험적

- RBF, Sigmoid, Low Degree Polynomial

 

4. SVM 다계층 분류

 

• 하나-나머지 방법 or  하나-하나 방법

- 하나-나머지 방법 : 이항 분류 값이 가장 큰 값을 그룹으로 할당

- 하나-하나 방법 : 주어진 특성 자료에 대해 가장 많이 할당된 그룹으로 할당

SVR

=> 날씨 및 유동인구에 따른 교통량 추이

 

SVC

=> 3D MNIST 숫자 분류