728x90 분류 전체보기244 [기계학습] 딥러닝 최적화 - 규제 ( 가중치 감쇠, 조기 멈춤, 데이터 증강) 기계학습 기말고사를 대비하여 정리한 글 딥러닝 최적화 방법 1. 목적함수 개선 2. 효율적인 학습 전략 3. 규제 기법4. 하이퍼파리미터 최적화5. 2차 미분을 이용한 최적화 현대 기계학습의 전략 => 충분히 큰 모델 설계 + 학습 과정에서 여러 규제 기법을 적용한다 규제 규제 기법으로는 가중치 벌칙, 조기 멈츰, 데이터 증강이 있다. 이때 규제는 명시적 규제와 암시적 규제로 나뉜다. 명시적 규제 : 목적함수나 신경망 구조를 직접 수정하는 방식 (가중치 감쇠, 드롭아웃) 암시적 규제 : 간접적으로 영향을 미치는 방식 ( 조기 멈춤, 데이터 증강) 1. 가중치 벌칙 규제를 적용한 목적함수는 다음과 같다. 규제항 R : 훈련집합과 무관하며 단지 매개변수의 크기에 제약을 가하는 .. 2025. 12. 14. [기계학습] 딥러닝 최적화 - 효율적인 학습 전략 딥러닝 최적화 방법 1. 목적함수 개선 2. 효율적인 학습 전략 3. 규제 기법4. 하이퍼파리미터 최적화5. 2차 미분을 이용한 최적화 효율적인 학습 전략 효율적인 학습 전략에는 데이터 전처리, 가중치 초기화, 모멘텀, 적응적 학습률이 있다. 1. 데이터 전처리 데이터 전처리에서 발생하는 문제점 규모 불일치 (특징마다 규모가 다른 문제) => 규모가 큰 쪽으로 가중치 업데이트가 크게 일어남 (지그재그)모든 특징이 양수인 문제 => 여러 가중치가 뭉치로 증가 또는 감소한다. 가중치 업데이트의 다양성이 훼손된다. 이러한 문제점을 해결하는 방법으로는 정규화가 있다 1-1. 정규화 평균 0 => 모든 특징이 양수인 문제를 해결표준편차 1 => 규모가 불일치 하는 문제를 해결한다. 💡어떤 특징.. 2025. 12. 14. [컴파일러] 컴파일러 정리 - PDA, LL Parser, LR Parser, Follow, First 컴파일러 기말고사를 대비하여 정리한 글입니다. 1. Pushdown Automata(PDA)를 설명하기Pushdown Automata(PDA)는 문맥자유언어(Context-Free Language, CFL)를 인식하기 위한 계산 모델이다.이는 유한 오토마타(Finite Automata, FA)에 스택(Stack)이라는 추가적인 기억 장치를 결합한 형태이다. 유한 오토마타는 상태만을 이용해 입력을 처리하므로, 입력의 개수를 기억하거나 중첩 구조를 처리할 수 없다. 반면 PDA는 스택을 사용하여 이전 입력에 대한 정보를 저장할 수 있으므로, 괄호의 짝 맞추기나 aⁿbⁿ과 같은 언어를 인식할 수 있다. 형식적으로 PDA는 다음과 같은 7-튜플로 정의된다.Q: 상태의 유한 집합Σ: 입력 알파벳Γ: 스택 .. 2025. 12. 14. [AWS] 인스턴스 용량 줄이는 법 이번에 인스턴스 ssh 접속 오류가 나서 계속해서 헤매다가 오류가 났던 원인을 알게되었습니다. 인스턴스 용량이 다 차서 발생했던 것이었습니다.. 즉, 키페어 문제가 아니라, 디스크 용량 100% 사용으로 인해 sshd 프로세스가 로그를 못 쓰는 것이었습니다. apt 캐시 및 불필요 패키지 제거 sudo apt-get clean sudo apt-get autoremove -y sudo rm -rf /var/lib/apt/lists/ Docker 쓰고 있다면sudo docker system prune -a --volumes snap 완전히 제거(원치 않으면 생략)sudo apt purge snapd -y 로그 파일 정리 sudo journalctl --vacuum-time=2dsudo rm -rf .. 2025. 11. 6. [Docker] 도커 명령어 정리 Docker 명령어 활용Docker 이미지 명령어 구성Docker는 Dockerfile을 이용해 이미지를 build하고, 로컬 서버에 save하거나 load할 수 있습니다. Docker Hub Registry에 docker login 후 이미지를 push하거나 pull하여 공유할 수 있으며, search를 통해 이미지를 찾을 수 있습니다. 이미지는 container로 실행될 수 있습니다. 이미지 검색하기docker search 명령어를 사용하여 Docker Hub에서 이미지를 검색할 수 있습니다.명령어: docker search 이미지명[:TAG]예시: docker search ubuntu공식 이미지: ubuntu, centos, redis 등 OS나 프로그램 이름과 같은 이미지는 공식 이미지로 간주.. 2025. 11. 4. [GCP] Google Kubernetes Engine 사용 Google Kubernetes Engine(GKE) 은 GCP에서 제공하는 완전관리형 Kubernetes 클러스터 서비스이다.오늘은 이 구글 쿠버네티스 엔진을 사용하는 법을 기록해보고자 한다. 1. 클러스터 생성 마켓 플레이스에서 쿠버네티스 엔진 API 사용을 클릭해준다. GCP 콘솔 → Kubernetes Engine → 클러스터를 클릭한 다음 만들기를 선택해준다. 클러스터 유형 선택:Standard: 직접 노드 풀 구성 가능Autopilot: 노드 관리 완전 자동화 (개발/테스트용에 적합) Standard로 일단 설정해주었다. Region, Node Pool 크기, 머신 타입 설정네트워크 / 보안 / IAM 설정Create 클릭 → 몇 분 내 클러스터 생성 .. 2025. 11. 4. [컴파일러] BNF 정리 BNF (Backus–Naur Form)란 BNF는 프로그래밍 언어의 문법(Grammar) 을 형식적으로 표현하기 위한 표기법(Notation)을 말한다. 컴파일러의 구문 분석(Parsing) 의 근간이 된다. 프로그래밍 언어의 문법 구조를 분명하고 간결하게 표현할 때 주로 사용된다. 1950년대 후반에 존 배커스(John Backus)와 피터 나우어(Peter Naur)가 개발한 방법이라 'Backus-Naur Form'이라 부르게 되었다. BNF 표현 방법 ::= 표현식 BNF 예시 ::= + | - | ::= * | / | ::= ( ) | ::= 0 | 1 | 2 | 3.. 2025. 10. 23. [컴파일러] 촘스키 언어 계층 정리 - 문법 정리 Chomsky Grammar Hierarchy 문법을 표현 능력(Grammar Power)과 제약(Restrictions)에 따라 네 가지 계층으로 나눈 구조로, 안쪽에서 바깥쪽으로 갈수록 제약이 줄고, 표현 능력이 강해진다. 1. Type-3 Grammar (Regular Grammar, 정규 문법)가장 단순한 문법정규 표현식(Regular Expression)으로 표현 가능유한 오토마타(FA, Finite Automaton)로 인식 가능예: 이메일 형식, 전화번호 패턴 2. Type-2 Grammar (Context-Free Grammar, 문맥 자유 문법)정규 문법보다 강력푸시다운 오토마타(PDA)로 인식 가능프로그래밍 언어 문법 대부분이 여기에 속함 (if-else, 중첩 구조 등)예:.. 2025. 10. 23. [컴파일러] 컴파일러의 구조 (Front-End와 Back-End 구성과 역할) 컴파일러의 구조 컴파일러는 Front-end (전단부) 와 Back-end (후단부) 로 나뉜다.Front-end → 소스코드의 의미를 분석하고, 중간 표현(IR)을 생성하는 부분Back-end → IR을 최적화하고, 실제 기계어 코드로 변환하는 부분 컴파일러의 컴포넌트 컴파일러의 컴포넌트는 다음과 같이 나눠진다 1. Lexical Analyzer (어휘 분석기)문자 스트림(character stream)을 읽고, 토큰(token)으로 나눔 → a = b + c; → , , , , Token stream2. Syntax Analyzer (구문 분석기)토큰을 문법에 맞게 트리 구조로 분석 → 구문 트리(syntax tree) 생성. 즉, 프로그램의 구조(문법적 계층)를 파악함.Syntax.. 2025. 10. 23. 이전 1 2 3 4 5 6 ··· 28 다음 728x90
