• 목록

학습한 모델을 서비스에 연결할 때는 예측 정확도뿐 아니라 결과가 언제 필요한지도 정해야 합니다. 밤에 모아 처리한 결과를 다음 날 사용할 수 있는 일과 사용자가 누른 버튼에 바로 응답해야 하는 일은 운영 방식이 다릅니다.

배치 추론과 온라인 추론을 이 시간 요구에서 구분하면 구조를 이해하기 쉽습니다. 아래 사례는 개념 설명을 위한 가상 서비스입니다.

AI 생성 삽화 · 모아 둔 입력과 개별 요청을 비교하는 개념 삽화입니다. 배치 추론이 반드시 밤에만 실행된다는 뜻은 아닙니다.

핵심 정리
배치 추론은 모인 입력을 작업 단위로 처리해 결과를 전달하고, 온라인 추론은 요청 흐름에서 예측 결과를 제공합니다. 구분의 핵심은 결과가 필요한 시점과 전달 방식이며, 온라인 추론이 곧 온라인 학습이라는 뜻은 아닙니다.

1. 결과를 기다리는 사람이 누구인지부터 정합니다

추론은 준비된 모델로 입력에 대한 예측 결과를 만드는 과정입니다. 그 결과를 사용자가 화면에서 기다리는지, 다음 단계의 작업이 나중에 읽는지에 따라 필요한 처리 방식이 달라집니다.

가상의 사진 정리 서비스에서 사용자가 업로드 직후 분류 결과를 보고 싶다면 요청 흐름의 응답 시간이 중요합니다. 반면 쌓인 사진의 분류 목록을 다음 날 내려받으면 되는 기능이라면 일정량을 모아 처리할 수 있습니다.

기획 메모에는 ‘빠르게 처리’라는 말 대신 언제까지 어떤 결과를 누구에게 전달해야 하는지 적어봅니다. 한 건씩 즉시 보여줘야 하는지 전체 작업이 끝난 뒤 파일로 주어도 되는지부터 나누면 좋습니다.

배치와 온라인이라는 이름을 먼저 선택하기보다 사용자 흐름을 설명한 뒤 해당 방식에 연결하는 순서입니다.

2. 배치 추론은 입력 묶음과 완료 결과를 관리합니다

배치 추론은 모인 입력을 작업으로 처리하고 결과를 파일이나 저장소 등으로 전달하는 흐름을 생각할 수 있습니다. AWS의 Batch Transform 안내는 큰 데이터 집합의 추론과 지속적인 엔드포인트가 필요하지 않은 경우를 설명합니다.

가상 사진 정리 작업에서는 입력 목록을 정하고 작업 식별자를 부여한 뒤 완료 결과를 해당 목록과 연결할 수 있습니다. 작업 시작 전에 입력이 확정되었는지와 실행 도중 새로 들어온 사진을 이번 묶음에 넣을지 정해야 합니다.

결과가 나온 다음에는 몇 건이 성공했고 어떤 건이 실패했는지 확인합니다. 배치라고 해서 매일 밤 한 번만 실행해야 하는 것은 아닙니다.

일정에 따라 실행하거나 필요한 시점에 작업을 요청하는 등 서비스의 요구에 맞게 구성할 수 있습니다.

3. 온라인 추론은 요청과 응답의 연결이 중요합니다

온라인 추론은 들어오는 요청에 맞춰 예측 결과를 제공하는 흐름입니다. AWS의 실시간 추론 안내도 상호작용과 낮은 지연 시간이 필요한 작업을 대상으로 설명합니다.

특정 수치의 응답 시간이 모든 모델에서 보장된다는 의미는 아니며 입력 처리, 모델 계산, 결과 전달에 걸리는 시간을 함께 확인해야 합니다. 가상 사진 서비스라면 업로드가 끝난 뒤 분류 요청이 들어오고 사용자가 결과를 보는 시점까지 측정할 수 있습니다.

서버 내부의 모델 계산만 빠르더라도 파일 전송이나 대기 시간이 길면 사용자 경험은 달라질 수 있습니다. 요청이 실패했을 때 화면에 무엇을 보여줄지와 다시 시도할 수 있는지도 정합니다.

요청을 받은 사실과 결과를 성공적으로 돌려준 사실을 다른 상태로 남기면 문제를 찾기 쉽습니다.

4. 온라인 추론과 온라인 학습을 구분합니다

온라인이라는 단어 때문에 사용자 요청이 들어올 때마다 모델이 새로 학습한다고 생각하기 쉽습니다. 하지만 추론은 현재 모델로 결과를 만드는 일이고 학습은 데이터로 모델의 매개변수 등을 갱신하는 일입니다.

요청마다 결과를 제공하는 서비스라도 같은 모델 버전을 계속 사용할 수 있습니다. 가상의 분류 서비스에서 오늘 들어온 사진을 기존 모델로 분류했다는 사실만으로 그 사진이 즉시 학습에 반영되었다고 말할 수 없습니다.

새 데이터를 모아 평가하고 별도 학습과 배포 절차를 거치는 구조도 생각할 수 있습니다. 설계 문서에는 추론 요청 경로와 모델 갱신 경로를 분리해 적습니다.

어떤 데이터를 학습에 사용할지와 언제 새 모델을 적용할지도 각각의 정책으로 다룹니다. 배치 추론 역시 추론 작업이 끝났다는 사실만으로 모델이 다시 학습되었다는 뜻은 아닙니다.

5. 배치 크기와 서비스의 배치 추론은 구분할 수 있습니다

모델 계산에서 여러 입력을 한 번에 묶는 배치 크기라는 용어도 사용합니다. 이것은 결과를 사용자에게 언제 전달하는지와 같은 축의 구분은 아닙니다.

온라인 요청을 짧게 모아 계산하는 구조를 설계할 수도 있고, 큰 배치 작업을 내부에서 작은 묶음으로 나눌 수도 있습니다. AWS Batch Transform 문서도 입력 파일을 미니배치로 나누어 처리하는 방식을 설명합니다.

가상의 사진 묶음 작업에서 전체 입력이 많아도 한 번에 전부 메모리에 올려야 한다고 생각할 필요는 없습니다. 반대로 여러 입력을 한 번에 계산한다고 해서 결과 전달이 반드시 다음 날로 미뤄지는 것도 아닙니다.

설계 메모에서는 작업 전체의 입력 수와 모델 호출 한 번의 입력 수를 다른 이름으로 적으면 좋습니다. 배치 크기를 바꿀 때에는 처리량뿐 아니라 메모리 사용과 기다리는 시간도 확인합니다.

6. 재시도에서는 이미 처리한 입력을 알아야 합니다

배치든 온라인이든 실패 뒤 다시 실행할 수 있도록 입력과 결과의 연결을 남기는 것이 도움이 됩니다. 가상 배치 작업에서 일부 사진만 실패했다면 실패 목록을 다시 처리할지 전체를 다시 처리할지 정할 수 있습니다.

이미 성공한 결과를 다시 기록할 때 중복이 생기지 않도록 작업 식별자와 입력 식별자를 관리하는 방법을 생각해볼 수 있습니다. 온라인 요청에서도 사용자가 응답을 받지 못했지만 서버는 처리를 끝냈을 가능성을 고려할 수 있습니다.

재시도했다고 해서 언제나 새로운 작업으로 저장할지, 같은 요청임을 확인할지는 서비스 설계에 달려 있습니다. 로그에는 단순히 오류가 났다는 문장보다 어느 입력과 어느 단계에서 실패했는지를 남깁니다.

실제 사진이나 민감한 내용을 모두 로그에 복사할 필요는 없습니다. 결과를 조회할 수 있는 식별 정보와 필요한 상태를 중심으로 기록하면 됩니다.

실패를 다시 실행하는 버튼만 만드는 것보다 무엇을 다시 처리하는지 확인할 수 있는 구조가 중요합니다.

7. 모델 버전과 결과의 사용 시점을 함께 기록합니다

같은 입력을 처리해도 모델이나 전처리 방식이 바뀌면 결과가 달라질 수 있습니다. 가상의 사진 목록을 오전에는 모델 A로, 오후에는 모델 B로 처리했다면 결과를 비교할 때 그 차이를 알 수 있어야 합니다.

작업 기록에 모델 식별 정보, 입력 기준 시점, 완료 시각, 결과 위치를 남기면 이후 확인이 쉬워집니다. 배치 결과를 며칠 뒤 사용하는 기능이라면 사용자가 보는 분류가 어느 시점의 결과인지도 설명할 수 있습니다.

온라인 결과라도 다른 저장된 값과 함께 표시한다면 각각의 갱신 시점이 다를 수 있습니다. 품질을 확인할 때는 모델 정확도와 운영 지표를 나누어 봅니다.

분류가 맞았는지와 요청이 제시간에 완료되었는지는 서로 다른 질문입니다. 작은 프로젝트에서는 입력 한 건이 어느 작업에 들어가 어떤 모델을 거쳐 어디에 저장되는지 따라가 보는 것으로 시작할 수 있습니다.

이 흐름이 분명해지면 배치와 온라인 중 어떤 방식이 사용자 요구에 맞는지도 더 구체적으로 판단할 수 있습니다.

8. 자주 묻는 질문

Q1. 배치 추론은 밤에만 실행하나요?

반드시 그렇지는 않습니다. 일정이나 요청에 따라 실행할 수 있으며 결과가 필요한 시점과 작업 단위를 기준으로 설계합니다.

Q2. 온라인 추론은 요청마다 모델을 학습하나요?

온라인 추론과 온라인 학습은 다른 개념입니다. 이미 준비된 모델로 요청에 응답할 수 있으며 모델 갱신은 별도 과정일 수 있습니다.

Q3. 입력을 여러 개 묶으면 모두 배치 추론인가요?

모델 계산의 묶음 크기와 서비스의 결과 전달 방식은 구분할 수 있습니다. 온라인 서비스 내부에서도 입력을 모아 계산하는 구성을 사용할 수 있습니다.

Q4. 어느 방식이 더 좋은가요?

결과가 필요한 시간, 입력 규모, 요청 패턴, 실패 처리 요구에 따라 달라집니다. 동일한 모델도 기능별로 다른 추론 방식에 연결할 수 있습니다.

참고 자료

• AWS SageMaker AI: Batch transform
• AWS SageMaker AI: Real-time inference