728x90 {Lecture}/Machine Learning6 [기계학습] 딥러닝 최적화 - 규제 ( 가중치 감쇠, 조기 멈춤, 데이터 증강) 기계학습 기말고사를 대비하여 정리한 글 딥러닝 최적화 방법 1. 목적함수 개선 2. 효율적인 학습 전략 3. 규제 기법4. 하이퍼파리미터 최적화5. 2차 미분을 이용한 최적화 현대 기계학습의 전략 => 충분히 큰 모델 설계 + 학습 과정에서 여러 규제 기법을 적용한다 규제 규제 기법으로는 가중치 벌칙, 조기 멈츰, 데이터 증강이 있다. 이때 규제는 명시적 규제와 암시적 규제로 나뉜다. 명시적 규제 : 목적함수나 신경망 구조를 직접 수정하는 방식 (가중치 감쇠, 드롭아웃) 암시적 규제 : 간접적으로 영향을 미치는 방식 ( 조기 멈춤, 데이터 증강) 1. 가중치 벌칙 규제를 적용한 목적함수는 다음과 같다. 규제항 R : 훈련집합과 무관하며 단지 매개변수의 크기에 제약을 가하는 .. 2025. 12. 14. [기계학습] 딥러닝 최적화 - 효율적인 학습 전략 딥러닝 최적화 방법 1. 목적함수 개선 2. 효율적인 학습 전략 3. 규제 기법4. 하이퍼파리미터 최적화5. 2차 미분을 이용한 최적화 효율적인 학습 전략 효율적인 학습 전략에는 데이터 전처리, 가중치 초기화, 모멘텀, 적응적 학습률이 있다. 1. 데이터 전처리 데이터 전처리에서 발생하는 문제점 규모 불일치 (특징마다 규모가 다른 문제) => 규모가 큰 쪽으로 가중치 업데이트가 크게 일어남 (지그재그)모든 특징이 양수인 문제 => 여러 가중치가 뭉치로 증가 또는 감소한다. 가중치 업데이트의 다양성이 훼손된다. 이러한 문제점을 해결하는 방법으로는 정규화가 있다 1-1. 정규화 평균 0 => 모든 특징이 양수인 문제를 해결표준편차 1 => 규모가 불일치 하는 문제를 해결한다. 💡어떤 특징.. 2025. 12. 14. [기계학습] Multilayer Perceptron : MLP Multilayer Perceptron 퍼셉트론은 선형 분류기라는 점에서 한계가 있었다. XOR 문제에서 선형 분리 불가능한 상황에서는 일정한 양의 오류가 발생했다. 이러한 퍼셉트론의 단점을 보완하기 위해 MLP가 나오게 되었다. ⭐ MLP의 핵심 아이디어 1. 은닉층 추가 (Hidden Layer)입력층(Input Layer)과 출력층(Output Layer) 사이에 하나 이상의 은닉층을 둠.단층 퍼셉트론은 선형 분리 문제만 해결할 수 있지만,은닉층이 생기면 비선형 관계를 학습할 수 있음.즉, 입력 특징 공간을 더 분류하기 쉬운 고차원 공간으로 변환하는 역할을 함 2. 시그모이드 활성함수 도입 (Sigmoid Activation)출력이 0~1 사이의 연속적인 실수값을 갖게 됨.이를 확률적 해석.. 2025. 10. 17. [기계학습] Perceptron Perceptron의 구조 입력층과 출력층을 가진다 이때 입력층은 연산을 하지 않으므로 퍼셉트론은 단일층 구조라고 간주한다. 입력층의 i 번째 노드는 특징 벡터의 요소 xi를 담당한다. 이때 항상 입력값으로 1을 받는 것은 바이어스 노드이다. (바이어스 노드를 따로 계산할 때 더하는 것이 아닌 처음부터 입력으로 포함키는 것이다.) i 번째 입력층 노드와 출력층을 연결하는 선은 가중치 wi를 가진다. 이때 w0는 바이어스이다. Perceptron의 동작 해당하는 특징값과 가중치를 곱한 결과를 모두 더하여 s 를 구하고 활성함수 T를 적용한다. 이때 활성함수로 계단함수를 사용하므로 최종 출력 y 는 +1 또는 -1 이다. ⭐퍼셉트론으로 OR 논리 게이트 분류 문제 해결이 가능.. 2025. 10. 17. [기계학습] 선형대수학 - 행렬 Matrix — 선형대수학과 기계학습의 핵심 행렬(Matrix)의 개념 여러 벡터를 모은 2차원 숫자 배열을 말한다. 훈련집합의 특징들을 행 또는 열로 표현한 것도 행렬이라고 할 수 있다. 행렬은 다항식을 간결하게 표현할 수 있고 벡터화를 통한 고속 연산 구현이 가능하다. 예를 들어, Iris 데이터셋에서 150개의 샘플과 4개의 특징(feature)을 가진다면전체 데이터는 X∈R ^150×4 로 표현된다. 행렬 A의 전치행렬 행과 열을 바꾼 행렬을 전치 행렬이라고 한다. 특수한 행렬들 정사각행렬: 행과 열의 수가 같은 행렬 대각행렬: 주 대각선을 제외한 모든 항들이 0 단위행렬: 대각행렬이면서, 대각선의 항들이 모두 1 대칭행렬: n x n 행렬이 A = A^T이다. .. 2025. 10. 16. [기계학습] 선형대수학 정리 - 벡터 기계학습에서 나오는 선형대수학을 정리한 글입니다. 벡터의 개념과 표현 벡터는 크기와 방향을 가진 양으로, 수학적으로는 n차원 공간의 한 점을 나타내는 n개의 수의 집합을 말한다. 물리학에서 벡터는 크기와 방향을 가진 값을 의미하며 화살표로 표현한다. 이때 화살표의 길이는 벡터의 크기를 나타내고 화살표의 방향은 벡터의 방향을 나타낸다. 벡터는 값들의 모임(tuple)이며, 각 성분(component)에는 순서(order)가 존재한다. 일반적으로 굵은 소문자(bold lowercase)로 표기한다. 스칼라(scalar): 크기만 있는 수 (예: 온도 25℃, 질량 10kg)벡터(vector): 크기와 방향이 있는 수 (예: 속도, 힘, 변위 등) 벡터의 종류 열벡터: 원소의 배열이 .. 2025. 10. 16. 이전 1 다음 728x90
