[기계학습] 선형대수학 정리 - 벡터

 

 

기계학습에서 나오는 선형대수학을 정리한 글입니다. 

 

 

벡터의 개념과 표현

 

벡터는 크기와 방향을 가진 양으로, 수학적으로는 n차원 공간의 한 점을 나타내는 n개의 수의 집합을 말한다.  

물리학에서 벡터는 크기와 방향을 가진 값을 의미하며 화살표로 표현한다. 이때 화살표의 길이는 벡터의 크기를 나타내고 화살표의 방향은 벡터의 방향을 나타낸다.   

 

 

 

벡터는 값들의 모임(tuple)이며, 각 성분(component)에는 순서(order)가 존재한다. 일반적으로 굵은 소문자(bold lowercase)로 표기한다.

 

 

 

• 스칼라(scalar): 크기만 있는 수 (예: 온도 25℃, 질량 10kg)
• 벡터(vector): 크기와 방향이 있는 수 (예: 속도, 힘, 변위 등)

 

벡터의 종류 

 

 

• 열벡터: 원소의 배열이 세로로 되어있는 벡터.
• 행벡터: 원소의 배열이 가로로 되어있는 벡터.

 

전치(Transpose) 연산

• 벡터의 방향(열↔행)을 바꾸는 연산이다

 

n차원 벡터와 공간의 의미

 

n-개의 성분을 가진 벡터는 n차원 실수공간   R^n 에 존재한다. 

 

여기서 R은 실수집합을 나타낸다 

 

 

 

벡터의 두 가지 해석

① 공간의 점(Point Interpretation)	벡터를 공간 내의 한 점으로 본다.	x=(2,3) → 2차원 평면의 한 점
② 공간에서의 방향(Direction Interpretation)	벡터를 이동 또는 방향으로 본다.	x=(3,3) → 오른쪽으로 3, 위로 3 이동하는 방향

 

ML 관점 요약

• 데이터 벡터 → 데이터의 위치 (특징 공간 상의 점)
• 매개변수 벡터 → 모델의 상태나 결정 경계 방향

 

벡터의 기본 연산

 

벡터 덧셈 (Vector Addition)

두 벡터를 성분별로 더한다.

 

 

스칼라 곱 (Scalar Multiplication)

 

벡터의 각 성분에 스칼라 a를 곱한다.

 

 

 

내적 (Dot Product)

 

 

내적(Dot Product, 혹은 Scalar Product)은 다음과 같이 정의된다.

 

 

1. 선형대수적 정의

 

 

• 결과값은 스칼라(Scalar)이다.
• 의미: “한 벡터가 다른 벡터 위에 얼마나 겹쳐지는가(Projection 정도)”를 측정한다.

 

2. 기하학적 정의

 

 

 

 

• θ: 두 벡터 사이의 각도
• ∥a∥, ∥b∥: 각각의 크기(Norm, 길이)
• 따라서 내적은 두 벡터의 크기와 방향 관계를 함께 반영한다.

 

 

 

3. 내적의 대칭성

 

 

 

 

 

• 내적은 교환법칙이 성립한다.
• 기하학적으로도 두 벡터가 서로를 투영했을 때의 크기는 동일하다

 

 

 

 

4. 머신러닝에서의 내적 활용

 

선형 회귀(Linear Regression)		입력 벡터와 가중치 벡터의 내적
신경망(Neural Network)		뉴런의 입력 신호 합산
유사도 측정(Similarity)		두 샘플이 얼마나 비슷한 방향을 가지는가

 

 

 

 

벡터의 Norm

벡터의 norm은 원점에서부터의 거리를 말한다

 

 

• L1 norm
  • 각 성분의 변화량의 절대값을 모두 더함.
• L2 norm
  • 피타고라스 정리를 이용해 유클리드 거리를 계산한다. 

 

벡터의 크기 개념은 Norm이라고 생각하면 된다. 

 

 

 은 벡터의 “길이(length)” 혹은 “크기(magnitude)”를 정의하는 함수이다. 이를 Lp-norm 또는 p차 놈이라 한다.

 

 

 

 

단위 벡터 (Unit Vector)

 

벡터를 자신의 놈으로 나누어 길이가 1인 벡터로 만든다

 

 

 

정규화(Normalization) 과정은 머신러닝에서 특징 스케일링(feature scaling)과 모델 안정화에 매우 중요하다.

 

 

 

유사도 측정 

내적과 놈을 이용해 두 샘플의 유사도(similarity)를 측정할 수 있다. 유사도란 두 벡터의 방향이 비슷한 지 또는 거리가 가까운지를 수치로 나타낸 것을 말한다.  

 

 

1. Cosine Similarity (코사인 유사도) 

 

방향 기반 유사도 

 

두 벡터의 방향이 얼마나 비슷한지를 측정한다.

 

 

값의 범위: [−1,1]

• 1 → 완전히 같은 방향
• 0 → 서로 직교
• -1 → 완전히 반대 방향

 

 

2. Distance 기반 유사도

 

거리기반 유사도

 

 

 

두 점(혹은 샘플) 간의 실제 직선거리(피타고라스 거리) 를 구하는 식이다. 이는 머신러닝에서 KNN, K-means, SVM, PCA 등 거리 기반 알고리즘의 핵심 연산으로 쓰인다.