결과 비교와 결론
1. 수치 읽는 법
이 보고서의 AP·IoU·Dice는 약한 CSV 기반 라벨에 대한 진단입니다. 모델이 학습에 포함했던 실행의 수치는 in-sample 적합도이고, 새 실행에 대한 성능은 아닙니다. baseline들은 해상도와 epoch, 학습 실행이 달라 같은 조건의 벤치마크가 아닙니다.
2. 대표 비교
| 관점 | AC28 18h01 | ME1a 14h06 | 해석 |
|---|---|---|---|
| 기존 Risk GNN | AP 0.764 / IoU 0.309 | AP 0.253 / IoU 0.036 | AC28의 높은 AP가 제품 간 안정성을 뜻하지 않음 |
| 2D CNN/U-Net | 0.622 / 0.333 | 0.298 / 0.143 | 기존 128 이미지 조건 |
| FNO2d | 0.620 / 0.296 | 0.444 / 0.143 | ME1a에서 baseline 중 상대적으로 높음 |
| Residual Geo GNN 개별 | 0.446 / 0.136 | 0.629 / 0.476 | ME1a의 in-sample 약한 라벨 적합이 가장 높음 |
| Residual Geo GNN 공동 | 0.671 / 0.465 | 0.476 / 0.053 | AC28 18h01은 개선, ME1a는 저하 |
GNN이 모든 조건에서 가장 좋다는 증거는 없습니다. AC28 18h01에서는 12k 공동 Residual Geo GNN이 IoU 0.465로 개별 0.136보다 높지만, ME1a에서는 개별 0.476이 공동 0.053보다 높습니다. AC28 16h도 개별 0.200에서 공동 0.145로 낮아졌습니다.
ME1a 수치 상승의 정확한 해석
ME1a의 12k 개별 Residual Geo GNN AP 0.6292 / IoU 0.4762 / Dice 0.6452는 한 실행(14h06)을 180 epoch 학습하고 그 같은 실행의 13개 약한 양성 노드에서 계산한 값입니다. 12,324개 노드의 12k 그래프는 이 약한 영역을 직접 평가해 label-transfer IoU 1.0을 갖습니다. 반면 5k 개별 hard 실험은 5,132개 노드, label-transfer IoU 0.175, AP 0.0685 / IoU 0.0547 / Dice 0.1037이었습니다.
12k 최적화의 알려진 설정은 hard 10 mm 지오데식 CSV-anchor mask, 실행별 class-balanced BCE+soft Dice loss, residual edge message passing과 Fourier 위치 특성, AdamW, 180 epoch입니다. 5k와 12k hard 비교에서는 run·모델·loss·180 epoch가 같지만 그래프 노드 배치와 재생성된 약한 마스크가 함께 달라집니다. 기존 CNN/FNO baseline과는 입력 표현·훈련 설정까지 다릅니다. 따라서 노드 수, 라벨 전달, architecture 또는 loss 중 한 요소만을 상승의 원인으로 분리할 수 없습니다.
더 직접적인 반례는 held-out입니다. ME1a를 빼고 AC28 두 run으로 학습한 12k 모델의 ME1a AP는 0.0010, IoU와 Dice는 0입니다. 공동 학습도 ME1a seen score를 0.4765 / 0.0535로 낮췄습니다. 이 수치는 개별 0.6292가 새 run 성능이 아니라 same-run 약한 라벨 적합도임을 보여 줍니다. 학습 코드 · 12k optimized CSV · 5k/12k CSV
3. 결론
| 결론 | 근거 | 실무 의미 |
|---|---|---|
| 입력 표현 계약은 정리되었다 | 512 이미지, 64 복셀, 5k CAD 문맥 그래프, 8,192 점군이 기하/비용 게이트 통과 | 후속 모델용 표준 입력을 고정할 수 있음 |
| 5k와 12k의 역할은 다르다 | 5k는 문맥 점수 95.05이나 현 투영의 ME1a AP/IoU 상한은 0.6261/0.4583, 실제 개별 5k는 0.0685/0.0547; 12k 학습은 0.6292/0.4762 | 현 위험 위치결정은 12k 출력 참조를 유지 |
| 공동 학습의 이득은 일관되지 않다 | seen 3 run 중 AC28 18h01만 IoU 상승 | 더 많은 실행 없이는 joint를 기본 선택으로 정할 수 없음 |
| 일반화 증거가 없다 | 12k leave-one-run-out AP 0.0047/0.0046/0.0010, IoU 모두 0 | 새 run 추천 또는 품질 판정에 사용할 수 없음 |
4. 한계와 다음 검증 요건
- 결함 CSV의 점을 실제 결함 외곽선·면적으로 보강하고, 라벨 생성 규칙을 독립 검토한다.
- 스캔-CAD registration, 센서 좌표계, 히터 구역의 실제 발자국을 계측으로 확정한다.
- 반복 생산 run, 여러 CAD/설계 변경군, 공정조건 변화와 정상·불량 사례를 늘린다.
- 고정된 train/validation/test 분할과 완전한 held-out CAD 평가를 정의한다.
- 선택된 512 이미지·64 복셀 계약으로 재학습한 뒤, 기존 128/32 baseline과 동일 조건에서 비교한다.
그 전까지는 이 POC를 전처리 파이프라인과 모델 실행 가능성의 증거로 사용하고, 정량 정확도나 최적 조건 권고로 제시하지 않는 것이 타당합니다.