이미지 생성 모델의 원리란? 처음 배우는 사람을 위한 쉬운 설명

이 글과 연결된 과정AI 크리에이터 과정 알아보기

AI를 활용한 작업물은 저작권과 사용 범위를 함께 고려해야 합니다. 수업에서는 어떤 단계에서 AI를 쓰고 어떤 단계는 직접 작업해야 하는지, 포트폴리오에 AI…

그림을 검색하는 게 아니라 새로 계산합니다

처음 이미지 생성 AI를 접하면 인터넷에서 비슷한 그림을 찾아 합쳐 주는 것처럼 느껴집니다. 하지만 기본 원리는 다릅니다. 모델은 학습 과정에서 '고양이는 이런 형태와 질감을 가진다', '석양은 이런 색의 흐름을 가진다' 같은 시각적 패턴을 숫자로 된 내부 규칙으로 익힙니다. 그리고 생성할 때는 그 규칙을 이용해 픽셀을 새로 계산합니다.

비유하자면 수많은 그림을 오랫동안 본 사람이 기억에 의존해 새 그림을 그리는 것과 비슷합니다. 특정 그림을 그대로 베끼는 것이 목적은 아니지만, 많이 본 스타일과 형태의 영향을 강하게 받습니다. 그래서 학습 데이터가 무엇이었는지가 결과물의 경향과 저작권 논의에서 중요한 문제가 됩니다.

노이즈를 걷어 내며 그림이 드러나는 과정

확산 모델의 학습은 거꾸로 생각하면 쉽습니다. 먼저 깨끗한 이미지에 노이즈를 조금씩 섞어 점점 알아볼 수 없게 만듭니다. 그리고 모델에게 '노이즈가 섞인 이 이미지에서 노이즈를 조금 덜어 내면 어떤 모습일까'를 맞히는 연습을 엄청나게 많이 시킵니다.

이 연습을 충분히 하면, 모델은 완전히 무작위인 노이즈에서 출발해도 노이즈를 한 단계씩 걷어 내며 그럴듯한 이미지를 만들어 낼 수 있게 됩니다. 안개가 서서히 걷히며 풍경이 드러나는 모습이나, 흐릿한 스케치가 점점 선명해지는 과정을 떠올리면 됩니다. 생성 화면에서 처음에는 뿌연 색 덩어리였다가 점점 형태가 잡히는 모습을 볼 수 있는 이유입니다.

1. 무작위 노이즈 이미지를 준비합니다(시드 값이 이 노이즈를 정합니다).
2. 입력한 문장을 모델이 이해하는 숫자 정보로 바꿉니다.
3. 문장 정보를 참고하며 노이즈를 조금씩 덜어 내는 단계를 여러 번 반복합니다.
4. 마지막 단계에서 선명한 이미지로 변환해 보여 줍니다.

같은 프롬프트로 매번 다른 그림이 나오는 것은 출발점인 노이즈가 매번 달라서입니다. 시드 값을 고정하면 같은 출발점에서 시작하므로 비슷한 결과를 다시 얻을 수 있습니다.

글이 그림의 방향을 정하는 방법

노이즈를 걷어 내는 방향을 정하는 것이 텍스트, 즉 프롬프트입니다. 모델은 학습 때 이미지와 함께 그 이미지를 설명한 글을 보았기 때문에, 단어와 시각적 특징 사이의 연결을 알고 있습니다. '푸른 갑옷'이라는 말이 들어오면 노이즈를 걷어 낼 때 푸른색 금속 질감 쪽으로 계속 끌어당기는 식입니다.

그래서 프롬프트에 쓰는 단어 하나하나가 결과를 바꿉니다. 모호한 단어는 넓은 범위의 결과를, 구체적인 단어는 좁은 범위의 결과를 냅니다. 텍스트 외에 참고 이미지나 윤곽선, 포즈 정보를 함께 넣어 방향을 더 정확히 잡는 기능을 제공하는 도구도 많습니다. 원화 작업에서는 내가 그린 러프 스케치를 넣어 구도를 고정하고 디테일만 탐색하는 방식이 자주 쓰입니다.

손가락과 글자가 자주 망가지는 이유

원리를 알면 이미지 생성 AI의 대표적인 약점도 이해됩니다. 모델은 형태를 '규칙'으로 이해한다기보다 '자주 보던 패턴'으로 익힙니다. 그래서 정확한 개수나 구조가 중요한 대상에서 실수가 잦습니다.

• 손가락: 각도와 겹침에 따라 모양이 매우 다양해 개수와 관절이 틀리기 쉽습니다.
• 글자: 글자 모양의 '느낌'은 흉내 내지만 정확한 철자를 쓰지 못하는 경우가 많습니다.
• 좌우 대칭과 구조: 갑옷 장식이나 기계 부품의 좌우가 미묘하게 어긋납니다.
• 설정의 일관성: 같은 캐릭터를 여러 장 뽑으면 의상 디테일이 매번 달라집니다.

모델과 도구가 발전하며 이런 문제는 점점 줄고 있지만, 게임 원화처럼 정확한 설정이 필요한 작업에서는 여전히 사람이 확인하고 고쳐야 합니다. 특히 3면도나 소품 시트처럼 개발팀이 그대로 보고 작업해야 하는 자료는 구조가 정확해야 하므로, AI 시안을 바탕으로 직접 다시 그리는 경우가 많습니다.

처음 쓸 때 헷갈리는 설정 용어

이미지 생성 도구를 열면 낯선 설정이 여럿 보입니다. 도구마다 이름이 조금씩 다르지만, 원리와 연결해 보면 의미가 보입니다. 시드는 출발점 노이즈를 정하는 번호이고, 단계 수는 노이즈를 몇 번에 걸쳐 걷어 낼지를 뜻합니다. 프롬프트 반영 강도는 문장을 얼마나 강하게 따를지를 정하는데, 너무 높이면 색이 과하거나 형태가 딱딱해지기도 합니다.

제외하고 싶은 요소를 따로 적는 네거티브 프롬프트 기능도 흔합니다. 원하지 않는 글자, 흐림, 과한 장식 등을 적어 두면 노이즈를 걷어 낼 때 그 방향을 피하게 됩니다. 이 값들을 하나씩 바꿔 보며 결과를 기록하면 도구의 성격을 빠르게 파악할 수 있습니다.

원리를 알면 달라지는 활용법

원리를 이해하면 AI를 더 영리하게 쓸 수 있습니다. 노이즈에서 시작해 점점 다듬는 구조이므로, 완전히 새로 만드는 것보다 내가 그린 밑그림에서 출발하게 하면 원하는 구도를 훨씬 잘 지킵니다. 시드를 고정하고 단어 하나만 바꾸면 그 단어의 영향을 정확히 비교할 수 있습니다.

또 AI가 약한 부분을 미리 알면 작업 계획을 세우기 쉽습니다. 분위기와 색감 탐색은 AI에 넓게 맡기고, 손·얼굴·장비 구조·글자처럼 정확성이 필요한 부분은 처음부터 직접 수정할 시간으로 잡는 식입니다. 이렇게 역할을 나누면 AI는 도구로서 제 몫을 하고, 최종 결과물의 품질은 작업자가 책임질 수 있습니다.

AI 시안을 원화 포트폴리오에 담고 싶다면 무엇을 AI가 했고 무엇을 내가 했는지 보여 주는 구성이 필요합니다. 드로잉 기본기로 AI 결과물을 고쳐 완성하는 흐름을 익히고 싶다면, SBS아카데미게임학원 AI x Game Concept Art 과정 상담에서 지금 그림 실력과 AI 활용 경험을 함께 말씀해 주세요.

자주 묻는 질문

가까운 캠퍼스에서 AI 크리에이터 알아보기

사는 곳과 가까운 캠퍼스를 고르면 수업 내용, 오시는 길, 상담 신청을 한 번에 볼 수 있습니다.

함께 읽으면 좋은 글