AI 모델의 정확도가 97%라고 합시다. 인상적인 숫자입니다. 그러나 공학 현장에서 이 숫자는 충분하지 않습니다. 3%의 오차가 어디서 발생하는지, 그 오차가 안전에 영향을 미치는 영역인지, 사용자가 오차를 감지할 수 있는지가 더 중요합니다.
공학 AI의 신뢰는 높은 평균 정확도가 아니라 실패를 투명하게 다루는 방식에서 쌓입니다. 이 글에서는 설명 가능성과 검증 루프라는 두 가지 축에서 공학 AI의 신뢰 구조를 살펴봅니다.
설명 가능성이란 무엇인가
공학에서 설명 가능성은 학술적 XAI(Explainable AI)와 다릅니다. SHAP 값이나 어텐션 맵이 설계자에게 직접적으로 유용하지 않을 수 있습니다. 공학 설계자가 원하는 설명은 더 구체적입니다.
- 입력 조건의 투명성: 이 결과가 어떤 형상, 재료, 경계 조건을 전제로 나온 것인가?
- 민감도 정보: 어떤 입력을 바꾸면 결과가 가장 크게 달라지는가?
- 유사 사례 참조: 이 조건과 가장 유사한 검증된 사례는 무엇인가?
- 한계 고지: 이 결과를 신뢰할 수 없는 조건은 무엇인가?
이 네 가지 정보가 결과와 함께 제공되면, 설계자는 AI의 답을 맹목적으로 따르는 것이 아니라 자신의 판단에 통합할 수 있습니다.
검증 루프: 틀렸을 때를 대비하는 구조
어떤 AI 모델도 100% 정확할 수 없습니다. 중요한 것은 틀렸을 때 얼마나 빨리, 얼마나 명확하게 감지할 수 있는가입니다. 검증 루프는 이를 위한 구조적 장치입니다.
검증 루프의 기본 구조는 다음과 같습니다.
- AI 추정: 빠른 모델이 초기 결과를 제공합니다.
- 신뢰도 평가: 입력 조건이 학습 범위 안에 있는지, 결과의 불확실성은 얼마인지 함께 보여줍니다.
- 조건부 정밀 검증: 신뢰도가 낮거나 위험도가 높은 영역에서는 자동으로 정밀 해석이 트리거됩니다.
- 결과 비교: AI 추정과 정밀 해석 결과를 비교하여 모델의 실제 성능을 추적합니다.
- 피드백: 비교 결과가 모델 개선과 신뢰 범위 업데이트에 반영됩니다.
이 루프가 작동하면 AI 모델은 사용할수록 더 정확해지고, 사용자는 모델의 한계를 점점 더 정확히 파악할 수 있습니다.
신뢰는 점진적으로 쌓인다
공학 현장에서 새로운 도구에 대한 신뢰는 한 번에 생기지 않습니다. 처음에는 의심을 가지고 사용하고, 여러 번 결과를 확인한 후에야 신뢰합니다. AI도 마찬가지입니다.
효과적인 도입 전략은 신뢰가 쌓이는 속도에 맞춰 활용 범위를 넓히는 것입니다.
- 1단계 — 참고용: AI 결과를 정밀 해석 전 사전 검토 자료로 활용. 의사결정에 직접 사용하지 않음.
- 2단계 — 스크리닝: 여러 설계안 중 유망한 후보를 빠르게 선별. 최종 검증은 여전히 정밀 해석.
- 3단계 — 독립 검증: 충분한 비교 데이터가 쌓인 영역에서 AI 결과로 직접 의사결정. 단, 신뢰 범위 내 조건에 한정.
각 단계에서 모델이 얼마나 정확했는지, 어떤 조건에서 틀렸는지가 기록되어야 다음 단계로 넘어갈 수 있습니다.
투명성은 약점이 아니라 강점이다
AI 모델의 한계를 공개하는 것이 신뢰를 떨어뜨릴까요? 오히려 반대입니다. 공학 현장의 전문가들은 모든 도구에 한계가 있다는 것을 잘 알고 있습니다. FEA 솔버도 메쉬 의존성이 있고, 실험도 측정 오차가 있습니다. 한계를 숨기는 도구보다 한계를 명확히 밝히는 도구를 더 신뢰합니다.
"이 조건에서 모델의 평균 오차는 5%이지만, 얇은 벽면 근처에서는 15%까지 올라갈 수 있습니다"라는 정보는 설계자에게 매우 유용합니다. 어디를 더 주의 깊게 봐야 하는지, 어디서 추가 검증이 필요한지를 알려주기 때문입니다.
RHX.LAB이 만드는 신뢰 구조
RHXY는 결과만 보여주는 제품이 아니라 결과의 맥락을 함께 제공하는 제품을 지향합니다. 모든 AI 결과에 입력 조건 요약, 신뢰 범위, 유사 사례 참조, 한계 고지를 포함하는 것이 목표입니다. 그리고 사용자의 검증 결과가 다시 모델 개선에 반영되는 피드백 루프를 제품 안에 내장하고 있습니다.
공학 AI의 미래는 더 정확한 모델만으로 열리지 않습니다. 정확할 때와 부정확할 때를 구분하고, 사용자가 그 차이를 이해하며 판단할 수 있게 돕는 제품이 신뢰를 쌓고, 신뢰가 쌓여야 산업이 바뀝니다.