[CyLab Academy] Trust But Verify

문제

• 문제명: Trust But Verify
• 카테고리: AI Ethics (Interactive Fiction)
• 목적: AI가 생성한 결과물에 대한 비판적 사고, 사실 검증(Fact-checking), 코드 리뷰의 중요성 학습
• 접속 정보: nc aureolin-pixie.cylabacademy.net 57703

 

풀이

이 문제는 전형적인 해킹(Pwnable/Reversing) 기법을 사용하는 것이 아니라, AI의 '환각(Hallucination)'과 '잘못된 확신'을 식별해내는 과정이다. 게임의 진행은 총 3개의 장면으로 구성되어 있으며, 각 단계에서 AI인 'ARIA'가 제시하는 정보를 무비판적으로 수용하지 않고 검증하는 선택지를 골라야 한다.

 

먼저 문제 접속하자.

 

계속 컨티뉴 누르면서 시나리오 진행하면 된다. 

 

SCENE 1: 통계 수치 검증 (The Statistic)

 

 

• 상황: ARIA가 해양 플라스틱 유입량을 연간 "500만 톤"이라고 주장함.
• 대응: 선택지 C(Look it up independently first)를 선택.
• 결과: 실제 데이터는 연간 800만~1,000만 톤으로, AI가 50배가량 수치를 부풀렸음을 확인하고 이를 수정함.

 

 

SCENE 2: 코드 리뷰 (The Code)

 

 

• 상황: 데이터 평균을 계산하는 Python 스크립트 작성.
• 대응: 선택지 B(Read through it carefully before running)를 선택.
• 분석: 코드 내 average = sum(data) / len(years) + 1 구문에서 근거 없는 + 1이 추가되어 있음을 발견. 논리적 오류를 지적하고 이를 제거하여 평균값을 보정함.

 

 

SCENE 3: 문헌 출처 확인 (The Citation)

 

 

• 상황: 인체 혈액 내 미세플라스틱 연구 결과를 Dr. Heather Leslie의 2021년 연구로 인용함.
• 대응: 선택지 B(Verify it anyway)를 선택.
• 결과: 연구자나 대학은 실제 존재하나, 발표 연도가 2022년임을 확인하고 '확정된 결과'가 아닌 '예비 연구(Preliminary)'라는 점을 지적하여 사실관계를 바로잡음.

 

 

세 단계의 과정을 거치며 AI의 답변을 검증하는 습관을 증명하면, 마지막에 AI(ARIA)는 사용자의 비판적 사고를 인정하며 최종 플래그를 제공한다.

• 최종 플래그: academy{7ru57_15_34rn3d_a5b4c2e0}

 

결론 

 

• 검증의 효율성: 처음부터 스스로 만드는 것보다, AI의 초안을 검증하는 것이 여전히 생산적이다.
• 데이터 신뢰성: AI가 제공하는 통계 수치는 구체적이고 권위 있어 보여도 반드시 독립적으로 교차 검증해야 한다.
• 코드 무결성: 코드의 결과값이 정상적으로 출력된다고 해서 내부 로직이 정확한 것은 아니다. 반드시 코드를 직접 읽어봐야 한다.
• 비판적 사고: "거의 맞는(Almost-right)" 정보는 결국 틀린 정보다. 특히 AI가 확신에 차서 말할 때 더 세심하게 검증해야 한다.

 

 

성공이다