새로운 기사 Point-E: 복잡한 신호에서 3D 포인트 클라우드를 생성하는 시스템에서 OpenAI 연구팀은 확산 모델을 사용하여 복잡한 텍스트로 구동되는 다양하고 복잡한 3D 모양을 생성하는 3D 포인트 클라우드 텍스트 조건부 합성 시스템인 Point E를 소개합니다. 단서.단일 GPU에서 몇 분 안에.
오늘날 최첨단 이미지 생성 모델의 놀라운 성능은 3D 텍스트 개체 생성에 대한 연구를 자극했습니다.그러나 몇 분 또는 몇 초 만에 출력을 생성할 수 있는 2D 모델과 달리 개체 생성 모델은 일반적으로 단일 샘플을 생성하는 데 몇 시간의 GPU 작업이 필요합니다.
새로운 기사 Point-E: 복잡한 신호에서 3D 포인트 클라우드를 생성하는 시스템에서 OpenAI 연구팀은 3D 포인트 클라우드를 위한 텍스트 조건부 합성 시스템인 Point·E를 제시합니다.이 새로운 접근 방식은 전파 모델을 사용하여 단일 GPU에서 단 1~2분 만에 복잡한 텍스트 신호에서 다양하고 복잡한 3D 모양을 생성합니다.
이 팀은 텍스트를 3D로 변환하는 문제에 중점을 두고 있으며, 이는 가상 현실 및 게임에서 산업 디자인에 이르는 실제 응용 프로그램을 위한 3D 콘텐츠 생성을 민주화하는 데 매우 중요합니다.텍스트를 3D로 변환하는 기존 방법은 두 가지 범주로 분류되며, 각 범주에는 단점이 있습니다. 1) 생성 모델을 사용하여 샘플을 효율적으로 생성할 수 있지만 다양하고 복잡한 텍스트 신호에 대해 효율적으로 확장할 수 없습니다.2) 복잡하고 다양한 텍스트 큐를 처리하기 위한 사전 훈련된 텍스트 이미지 모델이지만 이 접근 방식은 계산 집약적이며 모델이 의미 있거나 일관된 3D 개체에 해당하지 않는 로컬 최소값에 쉽게 갇힐 수 있습니다.
따라서 팀은 대규모 텍스트-이미지 쌍 세트에 대해 훈련된 텍스트-이미지 확산 모델(다양하고 복잡한 신호를 처리할 수 있음)을 사용하여 위의 두 가지 접근 방식의 강점을 결합하는 것을 목표로 하는 대안적 접근 방식을 탐색했습니다. 더 작은 텍스트-이미지 쌍 세트에서 훈련된 3D 이미지 확산 모델.이미지-3D 쌍 데이터셋.텍스트-이미지 모델은 먼저 입력 이미지를 샘플링하여 단일 합성 표현을 생성하고 이미지-3D 모델은 선택한 이미지를 기반으로 3D 포인트 클라우드를 생성합니다.
명령의 생성 스택은 텍스트에서 조건부로 이미지를 생성하기 위해 최근에 제안된 생성 프레임워크를 기반으로 합니다(Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).그들은 텍스트-이미지 변환 모델로 렌더링된 3D 모델에서 미세 조정된 30억 개의 GLIDE 매개변수(Nichol et al., 2021)가 있는 GLIDE 모델과 RGB 포인트 클라우드를 생성하는 확산 모델 세트를 사용합니다. 변환 모델.이미지를 이미지로.3D 모델.
이전 작업에서는 포인트 클라우드를 처리하기 위해 3D 아키텍처를 사용했지만 연구원들은 효율성을 개선하기 위해 간단한 트랜스듀서 기반 모델(Vaswani et al., 2017)을 사용했습니다.확산 모델 아키텍처에서 포인트 클라우드 이미지는 먼저 사전 훈련된 ViT-L/14 CLIP 모델에 공급된 다음 출력 메시가 변환기에 마커로 공급됩니다.
경험적 연구에서 팀은 제안된 Point·E 방법을 COCO 개체 감지, 분할 및 서명 데이터 세트의 점수 매기기 신호에 대한 다른 생성 3D 모델과 비교했습니다.결과는 Point·E가 복잡한 텍스트 신호에서 다양하고 복잡한 3D 모양을 생성하고 추론 시간을 1~2배 단축할 수 있음을 확인합니다.팀은 그들의 작업이 3D 텍스트 합성에 대한 추가 연구에 영감을 주기를 희망합니다.
사전 훈련된 포인트 클라우드 전파 모델 및 평가 코드는 프로젝트의 GitHub에서 사용할 수 있습니다.Document Point-E: 복잡한 단서에서 3D 포인트 클라우드를 생성하는 시스템이 arXiv에 있습니다.
뉴스나 과학적 발견을 놓치고 싶지 않다는 것을 알고 있습니다.주간 AI 업데이트를 받으려면 인기 있는 Synced Global AI Weekly 뉴스레터를 구독하세요.
게시 시간: 2022년 12월 28일