AI가 왜 그렇게 판단했는지 설명하는 것은 필요하지만, 공학에서는 설명 가능성만으로 부족합니다. 설명이 맞는지, 어떤 범위에서 맞는지, 어떤 조건에서는 쓰면 안 되는지가 함께 정의되어야 합니다. 신뢰는 문장이 아니라 반복 가능한 증거에서 생깁니다.
1. claim scope를 먼저 좁힙니다
“이 모델은 구조 해석을 잘한다”는 claim은 검증할 수 없습니다. “알루미늄 bracket의 선형 정적 하중에서 최대 변위와 von Mises stress를 특정 오차 범위 안에서 예측한다”처럼 domain, geometry range, material, load type, metric이 있어야 합니다.
2. 설명은 trace와 연결되어야 합니다
설명 문장은 어떤 입력, 어떤 solver run, 어떤 mesh, 어떤 validation case에서 나왔는지 연결되어야 합니다. 같은 결과라도 coarse mesh와 converged mesh의 의미는 다릅니다. AI가 낸 설명이 report에 들어가려면 provenance가 붙어야 합니다.
3. residual risk를 숨기지 않습니다
공학적 신뢰는 한계를 숨기지 않을 때 생깁니다. 접촉 비선형을 무시했는지, 재료 물성이 보수적인지, 피로를 보지 않았는지, 온도 효과가 빠졌는지 명시해야 합니다. 사용자는 “통과”보다 “무엇을 아직 보지 않았는가”를 알아야 합니다.
4. 검증 루프
- 대표 benchmark와 단위 테스트로 solver/AI pipeline을 확인합니다.
- 실제 제품 파일에서 shadow validation을 돌립니다.
- 시험 또는 현장 데이터와 잔차를 기록합니다.
- 오류 유형을 다음 데이터 수집과 모델 개선에 반영합니다.
5. 신뢰를 구성하는 네 가지 증거
| 증거 | 질문 | 예시 |
|---|---|---|
| Verification | 구현이 의도한 모델을 제대로 풀었는가 | unit test, manufactured solution, mesh convergence |
| Validation | 현실을 목적 범위 안에서 충분히 대표하는가 | coupon test, component test, wind tunnel, thermal chamber |
| Uncertainty | 입력과 모델의 불확실성이 결과에 어떻게 전파되는가 | material scatter, boundary uncertainty, sensor noise |
| Traceability | 결과를 만든 파일·설정·승인 이력이 남아 있는가 | CAD revision, solver version, load case approval |
6. AI 설명의 품질 기준
공학 AI의 설명은 자연어 fluency가 아니라 검토 가능성으로 평가해야 합니다. “이 부분이 위험합니다”보다 “screw boss root에서 peak stress가 발생했고, load case LC-02의 fixed face 정의와 mesh size 0.8 mm 조건에서 나온 결과이며, contact와 fatigue는 제외했다”가 더 좋은 설명입니다.
설명은 다음 네 가지를 포함해야 합니다. 첫째, 어떤 입력을 근거로 삼았는가. 둘째, 어떤 물리 가정을 썼는가. 셋째, 어떤 대안이나 민감도 분석을 보았는가. 넷째, 어떤 조건에서는 이 설명을 믿으면 안 되는가.
7. ASME식 credibility 사고방식의 적용
ASME V&V 계열 문서는 목적 맥락에 맞는 credibility assessment를 강조합니다. AI CAE에서도 같은 사고가 필요합니다. 모델이 모든 상황에서 믿을 수 있는지를 묻기보다, 특정 decision consequence에서 어느 수준의 증거가 필요한지 정해야 합니다. 시제품 방향 결정에는 screening evidence가 충분할 수 있지만, 인증이나 안전 관련 결정에는 시험과 고정밀 해석이 필요합니다.
8. RHXY에서의 신뢰 UX
사용자는 결과 contour만 보는 것이 아니라 confidence state를 봐야 합니다. 예를 들어 “green: decision-ready for screening”, “yellow: review required near threshold”, “red: outside validation envelope”처럼 결과 상태를 구분해야 합니다. 신뢰는 모델 내부 점수보다 사용자가 다음 조치를 이해할 수 있을 때 생깁니다.
9. 회의에서 쓸 수 있는 신뢰 문장
공학 AI의 결과를 회의에서 말할 때는 다음 형식이 좋습니다. “이 결과는 ABS bracket v03, linear static screening, 120 N side load, fixed screw boss 조건에서 나온 것이며, displacement margin은 충분하지만 boss root peak stress는 mesh sensitivity가 남아 있어 full CAE 재검토가 필요합니다.” 이 문장은 claim scope, 조건, 결과, 한계, 다음 조치를 모두 포함합니다.
반대로 “AI가 괜찮다고 했습니다”는 제품 회의에서 쓸 수 없는 문장입니다. 신뢰 가능한 AI는 결론보다 조건과 한계를 더 잘 말해야 합니다.
참고 자료: Bias-aware Physics Foundation Model Benchmark, DoMINO, PDEBench.