최소제곱법과 과대오차

1. 최소제곱법의 정의

최소제곱법이란? 관측값에서 최확값을 얻기위해 잔차의 제곱합이 최소가 되게하는 기법을 말하며 관측값의 착오, 정오차는 제거되고 부정오차(우연오차)의 정규분포곡선(오차곡선)을 이루는 기법이다.

 

 

 

2. 최소제곱법의 계산

최소제곱법(Least Squares Method)은  정규분포 형태의  입력 데이터를 가장 잘 유추하는 선형 모델을 찾기 위한 방법 중 하나이다. 이 방법은 데이터와 선형 모델 간의 차이를 최소화하는 최적의 모델 파라미터를 찾는 것이다.

 

최소제곱법을 사용한다는 말은 잔차의 합, 즉 다음 수식을 최소화하도록 f(x)의 파라미터를 결정한다는 말이 된다.

 

선형 모델f(X)가  직선 aX + b인 경우에는 다음 수식의  잔차를 최소화하도록 a, b를 결정하는것이 최소자승법이다.

 

최소제곡법(least squares method)은 주어진 데이터를 가장 잘 표현하는 직선, 곡선 또는 다항식 등을 찾는 방법은 다음과 같은 단계를 따르여 한다.

 

① 주어진 데이터를 그래프로 나타내고 적절한 모델(직선, 곡선, 다항식)을 선택합니다. 모델은 데이터를 가장 잘 표현할 수 있는 방법을 선택한다.

② 모델의 파라미터를 추정한다. 예를 들어, 모델의 직선이라면 기울기와 절편값을 추정한다.

③ 추정된 파라미터를 사용하여 모델의 예측값을 계산한다. 이 값은 데이터 포인트와 모델 사이의 잔차에 해당한다.

④ 잔차의 제곱합을 최소화하는 파라미터를 찾는다.

⑤ 상기 과정을 반복하여 최적의 파라미터를 결정하고 주어진 데이터에 적합한 모델(직선, 곡선, 다항식)을 표시한다.

⑥ 모델을 사용하여 새로운 데이터의 예측값과 실제값을 비교하여 개별 데이터의 잔차를 표시한다.

 

3. 과대오차의 영향

최소제곱법은 데이터 중에 보통 과대오차(Outlier)라고 불리는 값이 하나 이상 포함되어 있으면 적용하기 힘든 방법이다.  그 이유는 최소자승법은 전체 데이터의 잔차의 합을 최소화하기 때문에 과대오차(outlier)의 잔차도 같이 줄이려고 하다보면 잘못된 근사 결과를 낼 수 있기 때문이다.

 

4. 과대오차의 제거

최소제곱법은 과대적합(overfitting)에 취약하므로, 모델을 선택할 때는 데이터의 크기와 특성을 고려하여야 한다. 최소제곱법(Least Squares Method)은 관측된 데이터와 이에 대한 모델 간의 오차를 최소화하여 모델 파라미터를 추정하는 방법입니다. 따라서 과대 오차를 제거하기 위해서는 다음과 같은 방법을 고려할 수 있습니다.

① 과대오차(Outliers) 제거: 과대오차는 전체 데이터에 대한 모델 추정에 영향을 미치기 때문에, 이를 제거하면 과대오차를 줄일 수 있다.

② 변수선택(Variable selection): 모델에 포함된 변수들 중에서 중요하지 않거나, 독립적이지 않은 변수를 제거하여 과대적합(Overfitting)을 방지하고, 모델의 적합성을 향상시킬 수 있다.

③ 정규화(Regularization): 정규화는 모델 파라미터의 크기를 제한하여 과대적합을 방지하고, 일반화 성능을 향상시킨다.