生成AIモデルにおける3D形状の品質問題に対処する方法の中には、再トレーニングや微調整を通じて問題を解決するものがありますが、これには費用と時間がかかります。しかし、MITの研究者は、追加のトレーニングや複雑な後処理を必要とせずに、これらの方法と同等またはそれ以上の品質を実現する新しい手法を開発しました。問題の原因を特定することで、Score Distillationや関連手法の数学的理解を深め、性能の向上を可能にしています。 「我々の研究は、デザイナーがリアルな3D形状を作成する際に役立つ、効率的で迅速かつ高品質な解決策への道を示しています」と、主著者でMITのEECS大学院生Artem Lukoianov氏は述べています。共著者には、オックスフォード大学のHaitz Sáez de Ocáriz Borde氏、MIT-IBM Watson AI LabのKristjan Greenewald氏、トヨタ研究所のVitor Campagnolo Guizilini氏、MetaのTimur Bagautdinov氏、そしてMIT CSAILのVincent Sitzmann氏とJustin Solomon氏が含まれています。 DALL-Eのような生成AIモデルは、ノイズから2D画像を生成するために拡散モデルを使用します。しかし、3Dトレーニングデータが限られているため、3D形状の生成には苦労しています。2022年に開発されたScore Distillation Sampling (SDS)という技術は、事前に訓練されたモデルを使ってノイズ操作を通じて2D画像を3D形状に変換しますが、これらの形状はぼやけていたり色が濃すぎたりすることがよくあります。この問題は今まで解決されていませんでした。 MITのチームは、SDSにおいてノイズを引き起こしている重要な公式の不一致を特定しました。公式を正確に解く代わりに、欠けている項を推論するための近似技術を使用し、鮮明でリアルな3D形状を生成しました。さらに、画像解像度を向上させ、モデルパラメータを調整して品質をさらに向上させました。 既存の事前訓練された拡散モデルを使用することで、高価な再トレーニングをせずに高品質な3D形状を実現しました。この方法は基礎モデルからのバイアスや制約を引き継ぐものの、基礎となるモデルを改善することで成果が向上する可能性があります。将来的な研究では、これらの手法を探求して画像編集を向上させることを目指すかもしれません。 この研究は、トヨタ研究所、米国国立科学財団などの団体から資金提供を受けました。