HAI project

배경

데이콘에서 주최하는 “HAI(하이)! - Hecto AI Challenge: 2025 상반기 헥토 채용 AI 경진대회”를 진행하려고 한다. 해당 대회의 주제는 중고차 이미지 차종 분류 AI 모델 개발이다. 데이터는 총 33,137장으로 학습셋만 대략 3.26GB를 차지했다(396개의 class). 현재 내 로컬에서 모델을 fine-tuning을 하기에는 무리가 있을 것으로 판단하여, AWS EC2 인스턴스를 생성하고, 구축한 환경에서 학습 및 추론을 진행해보고자 한다. 추가로, Git + CI/CD 구성 (GitHub Actions)으로 Push $\to$ 서버 SSH 접속 $\to$ 최신 코드 pull $\to$ train.py 의 자동화가 적용된 워크플로우까지 경험해보고자 한다.

위 배경에 근거하여 다음과 같은 구성을 사전에 생각했다.

사전 구성 요소

항목	선택 내용
서버	AWS EC2 (g4dn.xlarge 등 GPU 인스턴스)
가상환경 관리	Poetry (로컬/서버 동일 관리)
데이터 저장	EC2에 연결된 EBS(Elastic Block Store)
코드 관리	Git + GitHub
전송 방식	로컬 $\to$ 서버: scp / GitHub $\to$ 서버: git pull
실행 환경	poetry run python train.py 또는 poetry shell
서버 상태 관리	학습할 때만 start, 그 외엔 stop
백업	학습 산출물은 필요 시 S3로 업로드 예정
GitHub Actions 자동화	push $\to$ EC2 자동 start $\to$ 학습까지 자동
실험 로그 시각화 & 모니터링	WandB or TensorBoard
환경 통일성 극대화	Docker 기반 컨테이너화
학습 산출물 안정적 보관	S3 자동 백업
서버 자동 종료 스크립트	학습 종료 후 자동으로 stop 처리

프로젝트 구조 및 디렉토리 설계

your-project/
├── dataset/                # 서버에 옮긴 이미지 폴더
├── data/                   # 전처리된 데이터 저장소
├── src/
│   ├── train.py            # 학습 진입점
│   ├── model.py            # 모델 정의
│   ├── dataloader.py       # 데이터 로딩 관련 함수
│   ├── utils.py            # 기타 유틸
│   └── config.yaml         # 설정 관리
├── outputs/                # 학습 결과 저장 폴더
├── pyproject.toml          # poetry 환경 설정
├── poetry.lock             # 버전 고정
└── README.md               # 설명

config.yaml로 설정 관리를 하여 하드코딩을 방지하고 실험을 추적하고자 한다.

AWS EC2 인스턴스 생성

AWS 콘솔에서 EC2 생성

1. EC2 대시보드 진입

2. 인스턴스 시작 클릭

3. 설정 항목:

   항목	설정
   AMI	Ubuntu 22.04
   인스턴스 타입	g4dn.xlarge (GPU T4)
   키 페어	새로 생성하거나 기존 .pem 사용
   스토리지	100GB (gp2)
   네트워크	기본 VPC로 유지
   보안 그룹	SSH(22) 허용만 우선 설정

4. 인스턴스 시작

5. 퍼블릭 IPv4 주소 확인

vCPU 한도 초과 문제

You have requested more vCPU capacity than your current vCPU limit of 0 allows for the instance bucket that the specified instance type belongs to. Please visit http://aws.amazon.com/contact-us/ec2-request to request an adjustment to this limit.

위 에러는 현재 AWS 계정에 할당된 vCPU 한도(Quota)가 0이어서 GPU 인스턴스를 만들 수 없다는 의미이다. 위 주소에 들어가서 Region은 ap-northeast-2 (서울) 로, 필터 이름은 Running On-Demand Standard (A, C, D, H, I, M, R, T, Z) instances 를 선택하고, 인스턴스 수를 조정한 후 한도 요청을 클릭한다.

SSH 접속 확인

# 로컬에서 접속
ssh -i ~/path/to/your-key.pem ubuntu@<YOUR_EC2-PUBLIC_IP>

정상 접속되면 ubuntu@ip-xxx:~& 이런 형태로 쉘이 열림

Poetry 기반 가상환경 서버 구성

Poetry 설치

curl -sSL https://install.python-poetry.org | python3 -

PATH 설정 (Ubuntu 기준)

echo 'export PATH="$HOME/.local/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

확인:

poetry --version

출력이 나오면 설치 완료

Git에서 코드 불러오기

# 홈 디렉토리에서 시작
cd ~
git clone https://github.com/yourname/your-project.git
cd your-project

pyproject.toml, poetry.lock이 포함되어 있어야 함

가상환경을 프로젝트 폴더 내에 생성

poetry config virtualenvs.in-project true

$\to$ .venv/ 폴더가 생기고, 이걸로 Docker화나 경로 관리가 더 쉬워짐

가상환경 설치

poetry install

$\to$ 필요한 패키지가 모두 설치되고, poetry 환경이 구성됨

학습 스크립트 실행 (테스트)

poetry run python src/train.py config.yaml