핵심 인사이트
- 감리 과정에서 객관적 증거(Objective Evidence)는 면담·관찰·문서 검토·직접 진단(테스트)의 4가지 기법으로 수집되며, 각 기법의 특성상 단일 기법보다 복수 기법 조합(증거 삼각화)이 감리 결론의 신뢰성을 높인다.
- 객관적 증거는 "검증 가능하고 재현 가능한 사실"이어야 하며, 감리원의 주관적 판단이나 추론이 아닌 문서·로그·시스템 출력·직접 관찰 결과를 근거로 해야 한다는 것이 감리 표준(ISO 19011)의 핵심 원칙이다.
- 직접 진단(테스트) 기법은 가장 강력한 증거를 제공하지만 시스템 영향 가능성 때문에 사전 협의와 테스트 환경 설정이 필수이며, 샘플링 방법(MUS, 속성 샘플링)의 신뢰수준이 증거의 통계적 완전성을 결정한다.
Ⅰ. 감리 증거 4대 수집 기법
감리 증거 수집 4대 기법:
1. 면담 (Interview):
대상: 프로젝트 관련자 (PM, 개발자, 사용자)
방법: 구조화 인터뷰, 비구조화 인터뷰
장점: 암묵적 지식, 맥락 파악
단점: 주관성, 편향 가능성
기록: 면담 결과서 (일시, 대상자, 내용, 확인서명)
2. 관찰 (Observation):
대상: 업무 프로세스, 시스템 운영 현장
방법: 직접 현장 관찰, 업무 수행 지켜보기
장점: 실제 상황 파악, 문서와 실제의 차이 발견
단점: 관찰자 효과 (Hawthorne Effect)
3. 문서 검토 (Document Review):
대상: 계획서, 보고서, 코드, 설계서, 회의록
방법: 요건 대비 산출물 적합성 검토
장점: 재현 가능, 객관적, 효율적
단점: 문서와 실제 구현 불일치 가능
4. 직접 진단/테스트 (Direct Testing):
대상: 시스템, 코드, 데이터
방법: 침투 테스트, 쿼리 실행, 시스템 점검
장점: 가장 강력한 증거 (실제 확인)
단점: 시스템 영향 위험, 사전 협의 필수
📢 섹션 요약 비유: 4대 기법은 범죄 수사 방법 — 참고인 조사(면담), 현장 탐문(관찰), 서류 압수(문서 검토), 재연 실험(직접 테스트).
Ⅱ. 증거 삼각화 원칙
증거 삼각화 (Evidence Triangulation):
단일 증거의 한계:
면담만: "들었다"는 증거 = 약함
문서만: 실제 구현 불일치 가능
관찰만: 재현 불가
삼각화 예시:
보안 정책 준수 여부 검토:
면담: 개발자 "암호화 적용했다" (주관적)
문서: 보안 설계서에 암호화 명시 (계획)
직접 테스트: DB 실제 쿼리로 암호화 확인 (객관적)
→ 3가지 일치 = 강한 증거
증거 품질 기준 (ISO 19011):
충분성 (Sufficiency): 결론 도출에 충분한 양
적합성 (Relevance): 감리 목적에 직접 관련
신뢰성 (Reliability): 사실에 기반, 재현 가능
증거 문서화:
감리 워킹페이퍼(Working Paper)에 기록
증거 참조 번호 부여
결론과 증거 연결
감리 결론 = 증거의 함수:
"해당 요건 미준수" ← 증거 3건 (관찰+문서+테스트)
증거 없는 결론 = 감리 의견으로 부적절
📢 섹션 요약 비유: 증거 삼각화는 3각 측량 — 한 지점만으로는 위치 부정확, 3개 지점 교차로 정확한 위치 확정.
Ⅲ. 샘플링 방법론
감리 샘플링 방법:
전수 조사 vs 샘플링:
전수 조사: 모든 항목 검토 (비용, 시간 과다)
샘플링: 표본으로 모집단 특성 추론
MUS (Monetary Unit Sampling):
금액 기반 샘플링
큰 금액 거래에 더 높은 선택 확률
재무 감리에 주로 사용
속성 샘플링 (Attribute Sampling):
특정 속성 존재/부재 검증
예: 코드 리뷰 완료 여부 (Yes/No)
신뢰수준 95%, 허용오류율 5%
→ 최소 표본 수: 약 60개
통계적 샘플링 vs 비통계적:
통계적: 수학적 표본 수 결정, 일반화 가능
비통계적: 전문가 판단, 대표성 의존
IT 감리 샘플링:
소스코드: 기능별 무작위 코드 샘플링
로그: 특정 기간 이벤트 샘플링
DB: 주요 테이블 레코드 샘플링
📢 섹션 요약 비유: 샘플링은 요리사의 시식 — 전체 음식을 다 먹지 않아도 한 스푼으로 간을 알 수 있듯, 표본으로 전체 품질을 추정.
Ⅳ. 직접 진단 기법 상세
직접 진단 (테스트) 기법:
유형:
재수행 (Re-performance): 동일 절차 재실행 → 결과 비교
재계산 (Recalculation): 수치/산식 직접 계산
분석 (Analysis): 데이터 통계/추이 분석
확인 (Confirmation): 제3자로부터 직접 확인
IT 시스템 직접 진단:
보안 취약점 스캔 (자동화 도구)
DB 접근 권한 쿼리 실행
성능 부하 테스트 실행
네트워크 패킷 분석
직접 진단 절차:
1. 사전 승인 획득 (서면)
2. 테스트 환경 확인 (운영/스테이징)
3. 테스트 계획 수립
4. 테스트 실행 + 결과 캡처
5. 원상 복구 확인
6. 결과 문서화
ISAE 3000 / SSAE 18:
감사 표준에서 직접 테스트 증거 인정
외부 감리원의 직접 진단 권한 범위 규정
📢 섹션 요약 비유: 직접 진단은 음식점 위생 검사 — 보건소 직원이 직접 주방에 들어가 온도계로 측정하는 것 — 가장 확실하지만 사전 허가 필요.
Ⅴ. 실무 시나리오 — 정보시스템 감리
공공기관 ERP 구축 감리 증거 수집 사례:
감리 목적: 개인정보 처리 요건 준수 여부
1. 면담:
대상: DBA, 보안 담당자, 시스템 관리자
질문: "개인정보 암호화 여부"
결과: "AES-256 암호화 적용했다"
2. 문서 검토:
대상: 보안 설계서, 암호화 정책 문서
결과: 암호화 설계 명시 확인
단, 문서와 실제 구현 일치 여부 미확인
3. 직접 진단:
방법: DB 접속 후 쿼리 실행
SELECT * FROM 고객정보 LIMIT 5;
결과: 주민번호 컬럼 = 암호화된 문자열 확인
이름 컬럼 = 평문 (문제 발견!)
4. 관찰:
DB 접근 로그 화면 확인
결과: 이름 컬럼 접근 로그 없음 (감사 미설정)
감리 결론 (증거 삼각화):
주민번호: 암호화 준수 (면담+문서+직접확인 일치)
이름 컬럼: 평문 저장 미준수 (직접 진단으로 발견)
DB 접근 감사 로그: 미설정 (관찰로 발견)
시정 요구 사항:
고객 이름 AES-256 암호화 조치
DB 접근 감사 로그 설정
30일 내 조치 후 재감리
📢 섹션 요약 비유: 감리 증거 삼각화는 진찰 + 검사 + 직접 확인 — 의사가 "어디 아파요?"(면담) + "차트 확인"(문서) + "직접 촉진"(진단)으로 정확한 진단.
📌 관련 개념 맵
객관적 증거 수집
+-- 4대 기법
| +-- 면담 (Interview)
| +-- 관찰 (Observation)
| +-- 문서 검토 (Document Review)
| +-- 직접 진단/테스트 (Testing)
+-- 원칙
| +-- 증거 삼각화 (Triangulation)
| +-- 충분성·적합성·신뢰성
+-- 샘플링
| +-- MUS, 속성 샘플링
| +-- 신뢰수준, 허용오류율
📈 관련 키워드 및 발전 흐름도
[전통 재무 감사 (1920s~)]
문서 검토, 면담, 재계산 기반
|
v
[IT 감사 등장 (1969, ISACA 설립)]
EDP(전자 데이터 처리) 감사
IT 시스템 직접 테스트 기법
|
v
[ISO 19011 감사 표준화 (2002, 2011, 2018)]
증거 수집 방법론 국제 표준화
|
v
[공공정보화 감리 제도화 (한국, 2000s~)]
전자정부법 기반 의무 감리
4대 증거 기법 법적 근거
|
v
[현재: 자동화 감리 도구]
AI 기반 코드 품질 자동 분석
자동화 보안 스캐너 감리 활용
👶 어린이를 위한 3줄 비유 설명
- 감리 증거 수집은 탐정 조사 — 사람에게 묻고(면담), 현장을 보고(관찰), 서류를 확인하고(문서 검토), 직접 실험해보는(직접 진단) 4가지 방법을 써요!
- 가장 강력한 증거는 "직접 확인" — DB에 실제 쿼리를 날려서 암호화가 됐는지 직접 보는 것처럼요.
- 세 가지 이상 증거가 같은 결론을 가리키면 "강한 증거" — 1가지 증거만 있으면 반박당할 수 있어요!