Brain438. 샘플링 오라클 (Sampling Oracle)
⚠️ 이 문서는 모든 입력값에 대한 정답(참 오라클)을 만드는 것은 불가능하므로, 수학적으로 영리하게 골라낸 **소수의 핵심 입력값(Sample) 몇 개에 대해서만 정답지를 미리 만들어 놓고 검증의 기준으로 삼는, 가성비 최고의 현실적 정답지인 '샘플링 오라클'**을 다룹니다.
핵심 인사이트 (3줄 요약)
- 본질: 샘플링 오라클(Sampling Oracle)은 통계학의 여론조사와 같다. 전 국민(모든 경우의 수)을 다 조사할 수 없으니, 특징이 비슷한 그룹에서 대표자 몇 명(샘플)만 뽑아서 테스트하고 전체의 품질을 확신하는 타협형 기준점이다.
- 가치: 참 오라클을 구축하는 데 드는 천문학적인 비용과 시간을 1/1000 이하로 압축하면서도, 동등 분할/경곗값 분석을 통해 치명적인 버그의 90% 이상을 솎아낼 수 있는 실무 최적화 모델이다.
- 기술 체계: 테스트 케이스 설계 기법인 블랙박스 테스트(동등 분할, 경계값 등)를 통해 똘똘한 샘플 입력값들을 추출한 뒤, 해당 값들에 대한 정확한 기대 결과(Expected Result)를 엑셀이나 테스트 스크립트에 하드코딩해 두는 방식으로 구현된다.
Ⅰ. 개요: 100만 번의 테스트를 10번으로 압축하기 (Context & Necessity)
나이를 입력하면 성인(18세 이상)인지 미성년자인지 판별해 주는 시스템을 만들었다. 나이 입력칸에는 1부터 100까지 숫자를 넣을 수 있다.
- 참 오라클의 미련한 짓: "1살은 미성년자, 2살도 미성년자... 18살은 성인... 100살은 성인." 이렇게 100개의 정답지를 다 만든다. 너무 피곤하다.
- 샘플링 오라클의 지혜: "어차피 1살부터 17살까지는 코드가 똑같이 미성년자로 처리하잖아? 그럼 **대표로 딱 한 명(10살)**만 뽑자. 그리고 오류가 잘 나는 경계선인 17, 18, 19살을 뽑자. 그리고 성인 대표로 50살을 뽑자."
결국, 100개의 테스트 대신 [10, 17, 18, 19, 50] 딱 5개의 샘플만 꼽아내어 정답지(오라클)를 만든다. 이 5개의 똘똘한 샘플만 정상 통과하면, 나머지 95개의 나이도 당연히 버그 없이 잘 돌아갈 것이라고 '수학적으로 확신'할 수 있다. 이것이 바로 **샘플링 오라클(Sampling Oracle)**이다.
📢 섹션 요약 비유: 국물 맛을 볼 때 냄비에 있는 국물을 100% 다 마셔봐야(참 오라클) 맛을 아는 것이 아닙니다. 숟가락으로 딱 한 입(샘플링)만 떠먹어 보더라도, 냄비 전체의 간이 잘 맞았는지 99% 정확하게 알아낼 수 있는 것과 같은 효율성의 원리입니다.
Ⅱ. 샘플을 뽑는 기술 (블랙박스 기법과의 만남)
샘플링 오라클이 성공하려면 **'어떤 샘플을 뽑을 것인가'**가 전부다. 아무 숫자나 랜덤하게 5개를 뽑았다가는 진짜 버그가 있는 구간을 쏙 피해 갈 수 있다. 그래서 샘플링 오라클은 반드시 **블랙박스 테스트 설계 기법(412번 문서)**과 영혼의 단짝처럼 붙어 다닌다.
- 동등 분할 (Equivalence Partitioning)
- 똑같은 결과를 낼 집단(클래스)을 나누고 중앙값을 찌른다.
- 예: 점수가 0~100점일 때, 무효값(-10), 유효값(50), 무효값(150) 3개의 샘플 오라클을 만든다.
- 경곗값 분석 (Boundary Value Analysis)
- 버그가 서식하는 국경선(경계)을 찌른다.
- 예: 100점 만점이라면 99, 100, 101이라는 3개의 샘플 오라클을 깐깐하게 만든다.
이렇게 추출된 정예 멤버(샘플 입력값)들에 대해서만 완벽한 정답지(Expected Result)를 기획자와 개발자가 머리를 맞대고 계산해 내어 문서에 기록한다.
┌───────────────────────────────────────────────────────────────────────────────┐
│ 무한대의 입력을 5개의 샘플링 오라클로 압축하는 시각화 │
├───────────────────────────────────────────────────────────────────────────────┤
│ │
│ [ 무한대의 고객 결제 금액 ] (0원 ~ 1억 원 이상) │
│ │
│ 1️⃣ [ 참 오라클 시도 ] : 모든 1원 단위마다 정답 엑셀표 만들기 -> (퇴사 충동) │
│ │
│ 2️⃣ [ 샘플링 오라클 설계 ] (수학적 컷팅) │
│ - 샘플 1 (음수 결제) : -500원 -> 정답: "에러 창 출력" │
│ - 샘플 2 (0원 결제) : 0원 -> 정답: "최소 결제액 부족 창" │
│ - 샘플 3 (정상 소액) : 1만원 -> 정답: "결제 정상 진행" │
│ - 샘플 4 (카드 한도액) : 100만원 -> 정답: "승인 로직 1차 통과" │
│ - 샘플 5 (한도 초과) : 101만원 -> 정답: "한도 초과 에러 창" │
│ │
│ ★ 결론: 무한대의 경우의 수를 단 5개의 '가성비 킹' 정답지로 완벽히 커버 완료! │
└───────────────────────────────────────────────────────────────────────────────┘
Ⅲ. 실무에서의 샘플링 오라클 (자동화의 뼈대)
우리가 실무에서 작성하는 수많은 자동화된 단위 테스트(Unit Test) 코드는 사실 100% 샘플링 오라클이다.
// [ 전형적인 샘플링 오라클 기반의 단위 테스트 코드 ]
@Test
void 나이_성인_판별_테스트() {
// 테스터가 골라낸 3개의 샘플 (17, 18, 50)
assertFalse(isAdult(17)); // 오라클 1 (17은 거짓이어야 함)
assertTrue(isAdult(18)); // 오라클 2 (경계선: 18은 참이어야 함)
assertTrue(isAdult(50)); // 오라클 3 (50은 참이어야 함)
}
프레임워크(JUnit) 안의 assertTrue/False가 바로 테스터가 심어놓은 '정답(Oracle)'이다. 17, 18, 50 세 개의 샘플만 통과하면 이 isAdult() 함수 전체를 통과(Pass) 시켜버린다. (가성비 극대화)
Ⅳ. 결론
"버그는 모든 곳에 존재하지 않는다. 버그가 숨어있는 급소만을 저격하라." 샘플링 오라클(Sampling Oracle)은 유한한 시간과 예산을 가진 소프트웨어 프로젝트가 선택할 수 있는 가장 합리적이고 지능적인 검증 전략이다. 100% 참 오라클을 만들겠다는 강박은 프로젝트를 파산으로 이끌지만, 똘똘한 샘플 10개만 뽑아내겠다는 전략은 오늘 오후 배포를 가능하게 만든다. 어떤 샘플을 뽑아야 시스템의 치명적인 결함을 덮을 수 있는지 결정하는 그 수학적 직관력이야말로, 주니어 테스터와 시니어 QA 아키텍트를 가르는 결정적 차이다.
📌 관련 개념 맵
- 상위 개념: 테스트 오라클 (Test Oracle - 정답지)
- 샘플 추출 기법 (Black-box): 동등 분할 (Equivalence Partitioning), 경곗값 분석 (Boundary Value)
- 비교되는 오라클: 참 오라클 (True - 전체), 휴리스틱 오라클 (Heuristic - 직관)
- 구현되는 장소: 단위 테스트 자동화 (Assertion 구문)
👶 어린이를 위한 3줄 비유 설명
- 사과 과수원에서 사과 1만 개가 모두 달고 맛있는지(에러가 없는지) 확인해야 해요.
- 1만 개를 다 한 입씩 깨물어 먹어보는 것(참 오라클)은 사과를 다 버리게 되니 미련한 짓이죠.
- 그래서 햇빛을 잘 받은 위쪽 사과 1개, 그늘진 밑의 사과 1개, 중간 사과 1개(총 3개의 샘플)만 뽑아서 먹어보고 "음! 3개 다 다니까 이 과수원 사과는 전부 100점 합격!"이라고 도장을 찍는 지혜로운 방법이랍니다.