Real Fit Recommendation System

문제

온라인 의류 구매에서는 사이즈 때문에 반품하는 일이 흔하고, 사이즈표만으로는 실제 핏을 알기 어렵습니다. 그래서 사용자의 신체 스펙을 바탕으로 한 실측 가상피팅 모델을 목표로 삼았습니다. 사진만으로 실측 사이즈를 측정하는 것과, 실측 사이즈를 바탕으로 실제 핏감을 반영하는 것이 핵심입니다.

작동 방식

• 신체 측정: SHAPY와 SMPL-X로 RGB 이미지 한 장에서 3D 인체를 복원하고, 생성된 메시에서 가슴, 허리, 엉덩이, 키 등의 치수를 계산합니다.
• 핏 분류: 신체 정보, 제품 사이즈, 리뷰 텍스트를 함께 보고 slim, regular, loose 중 하나의 핏으로 분류합니다.
• 가상 피팅: 핏 라벨을 Fit-Aware Layout Generator와 Multi-Scale Fit Injector를 통해 CatVTON에 조건으로 넣고, FLUX 디노이징으로 이미지를 생성합니다.

데이터

무신사에서 상의 데이터와 실구매자 리뷰를 크롤링해 리뷰 6,858건, 이미지 9,297장을 모았습니다. 학습 데이터는 7,621쌍(slim 992건, regular 4,429건, loose 2,200건)이며, 핏 라벨은 경험식이 아닌 무신사 공식 핏 데이터를 기반으로 했습니다.

결과

데모는 사진, 키, 체중 입력으로 시작합니다. 체형을 자동으로 추정하고, 적합도와 함께 사이즈를 추천한 뒤, 가상 피팅 이미지를 생성합니다. 데모 모델은 리뷰 5,893개와 의류 120벌로 학습했습니다(CatVTON × LoRA).

맡은 일

파이프라인 구축과 데이터 크롤링을 맡았습니다.

다음 단계

• 상의에서 하의까지 가상 피팅과 사이즈 추천을 확장합니다.
• 측정 조건부 CatVTON LoRA를 파인튜닝해 핏 정확도를 높입니다.
• SMPL-X(Multi-HMR) 기반의 정밀 체형 측정을 정식으로 통합합니다.