로컬에서 Stable Diffusion 돌려보기

왜 로컬에서 돌리나?

Midjourney나 DALL-E 같은 서비스도 좋지만, 다음과 같은 이유로 로컬 환경을 선택했습니다:

비용: 한 번 설치하면 무제한으로 이미지 생성 가능
커스터마이징: 모델 파인튜닝, LoRA 적용 등 자유롭게 실험
프라이버시: 내 데이터가 외부 서버로 가지 않음
속도: 네트워크 없이 바로 생성

시스템 요구사항

제 환경은 다음과 같습니다:

GPU: NVIDIA RTX 3080 (10GB VRAM)
RAM: 32GB
Storage: SSD 100GB 이상
OS: Ubuntu 22.04 (Windows도 가능)

최소 8GB VRAM이 필요합니다. 4GB로도 가능하지만 해상도 제한이 있습니다.

설치 방법

1. AUTOMATIC1111 WebUI 설치

가장 많이 사용되는 웹 인터페이스입니다.

# 저장소 클론
git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git
cd stable-diffusion-webui

# 실행 (자동으로 의존성 설치)
./webui.sh

2. 모델 다운로드

기본 모델은 다음 사이트에서 다운로드할 수 있습니다:

모델 파일(.safetensors 또는 .ckpt)을 models/Stable-diffusion/ 폴더에 넣으면 됩니다.

첫 이미지 생성

웹 UI에 접속하면 (기본 http://localhost:7860) 간단한 인터페이스가 나옵니다.

# 프롬프트 예시
a beautiful landscape, mountains, sunset,
vibrant colors, highly detailed,
masterpiece, 8k

# 네거티브 프롬프트
ugly, blurry, low quality, distorted

주요 설정 값

Sampling Steps

20-30: 빠른 생성, 테스트용
40-50: 균형잡힌 품질
70+: 최고 품질 (시간 오래 걸림)

CFG Scale

7-9: 일반적인 설정
10-15: 프롬프트를 더 강하게 반영
너무 높으면 과포화될 수 있음

Sampling Method

개인적으로 DPM++ 2M Karras를 추천합니다. 품질과 속도의 균형이 좋습니다.

고급 기능

1. LoRA 사용

특정 스타일이나 캐릭터를 추가할 수 있는 경량 모델입니다.

# LoRA 적용 프롬프트
<lora:anime_style:0.7> a girl, beautiful eyes, detailed

# 0.7은 강도 (0.0 ~ 1.0)

2. ControlNet

스케치, 포즈, 엣지 등을 기반으로 이미지를 생성할 수 있습니다. 별도 확장 프로그램 설치가 필요합니다.

3. Img2Img

기존 이미지를 기반으로 새로운 이미지를 만듭니다. 배경 교체, 스타일 변환 등에 유용합니다.

실전 팁

1. 좋은 프롬프트 작성법

구체적일수록 좋습니다:

# 나쁜 예
a cat

# 좋은 예
a fluffy white cat with blue eyes,
sitting on a red cushion,
sunlight from window,
soft focus, professional photography,
4k, highly detailed

2. Seed 값 활용

마음에 드는 이미지가 나오면 seed 값을 저장하세요. 같은 seed + 같은 설정 = 비슷한 결과

3. Batch 생성

한 번에 여러 장 생성하고 베스트를 고르는 게 효율적입니다. 저는 보통 4장씩 생성합니다.

성능 최적화

VRAM이 부족할 때

# webui-user.sh에 추가
export COMMANDLINE_ARGS="--medvram"
# 또는 더 적은 VRAM 환경에서
export COMMANDLINE_ARGS="--lowvram"

생성 속도 향상

# xformers 활성화 (NVIDIA GPU)
pip install xformers
export COMMANDLINE_ARGS="--xformers"

실제 활용 사례

저는 다음과 같은 용도로 사용하고 있습니다:

블로그 썸네일 이미지 생성
프레젠테이션 일러스트
개념 디자인 스케치
아이디어 시각화

주의사항

생성된 이미지의 저작권과 상업적 이용은 사용한 모델의 라이선스를 확인하세요. 대부분 개인 사용은 자유롭지만, 상업적 이용에는 제한이 있을 수 있습니다.

마무리

처음에는 설정이 복잡해 보이지만, 조금만 익숙해지면 정말 재미있습니다. 무엇보다 내 컴퓨터에서 무제한으로 이미지를 생성할 수 있다는 게 큰 장점입니다.

여러분도 한번 도전해보세요! 🎨