InstructMesh가 AI 3D 모델의 국부 결함을 다루는 방식
InstructMesh의 핵심은 생성형 3D 모델 전체를 다시 만드는 대신 사용자가 고른 결함 영역만 잠재공간에서 수정하는 흐름이다. MIT CSAIL은 2026년 9월 9일 이 시스템을 발표했고, 원논문 arXiv v1은 8월 28일 공개됐다.[1][2]
위치, 의도, 연산을 분리한다
사용자는 먼저 mesh에서 문제가 있는 영역을 칠한다. 자연어 방식에서 LLM은 문장을 고정된 연산과 매개변수에 연결한다. 논문은 LLM이 3D 기하를 직접 해석하거나 편집하지 않으며 공간 위치는 사용자의 영역 선택에서 온다고 명시한다.[2]
실제 변경은 TRELLIS encoder가 만든 64³ sparse voxel 잠재 표현에 적용된다. 수정된 표현을 decoder가 다시 mesh로 만들면서 세부 표면을 재구성한다.[2] 전체 모델을 다시 prompt하는 대신 수정 위치와 가능한 연산을 제한하는 방식이다.
미리보기 뒤에 사람이 승인한다
추가할 영역은 녹색, 제거할 영역은 빨간색으로 먼저 표시된다. 사용자는 확정 전에 수정하거나 취소할 수 있다.[2] 공식 발표도 생성된 기하 변화를 사용자가 평가하고 승인한다고 설명한다.[1] 자연어 입력이 사용자 판단을 대체한 구조가 아니다.
120개 TRELLIS 재구성 중 94개에서 서로 다른 제작 관련 결함이 두 종류 이상 발견됐다. 첫 사용자 연구는 경험이 없는 12명이 결함 모델 다섯 개를 다뤘고, 정해진 과제에서 결함의 90.4%를 찾고 89.7%를 고쳤다.[2] 이 수치는 모든 생성 모델과 사용자의 보편 성공률이 아니다.
현재 범위를 넘겨 읽지 않는다
현재 구현은 시각적으로 찾을 수 있는 정적 형상에 초점을 둔다. 64³ voxel 해상도보다 작은 결함, slicing 뒤 드러나는 공차와 내부 벽 문제, 힌지와 맞물림 같은 동적 메커니즘은 범위 밖이다. 출력 사례도 체계적인 printability 검증이 아니다.[2]
물리 시뮬레이션은 현재 검증 기능이 아니라 향후 통합 가능성이다.[1] 따라서 수정한 mesh는 slicer 검사, 치수·두께 확인, 실제 재료와 하중 조건의 시험을 다시 거쳐야 한다.
EyeContact는 원본, 선택 영역, 연산과 매개변수, 미리보기 승인 이유, 수정 mesh, slicer와 출력 시험을 한 기록으로 묶을 것을 제안한다. InstructMesh가 보여준 변화는 AI의 답을 곧바로 출력하는 자동화가 아니라 사람이 결함 위치와 수정 결과를 통제하는 제작 흐름이다.
댓글
댓글 쓰기