提供场景的语义和空间位置信息

mamun4258

懂D的语言模型来了！UCLA、上交、MIT等联合提出DLLM：性能大涨 此外，在D描述生成、D辅助对话等数据集上的实验表明，该模型优于D VLMs。 定性结果也表明，该模型可以执行超出现有的LLM和VLM能力范围的一些任务。 三维语言数据生成： 从互联网上可以轻松获取海量的二维图像和相应文本的数据对，不过三维多模态数据的获取却非常困难，网络上的三维资产非常稀缺，而且提供文本标注也更有挑战。

现有的三维语言数据，如ScanQA、ScanRefer等在数量和多样性方面都很有限，而且每个数据集 文莱电子邮件列表 都仅限于一项任务，如何自动生成一个可用于各种三维相关任务的三维语言数据集非常值得深入研究。 受GPT等大型语言模型的启发，研究人员提出利用此类模型来收集D语言数据。 懂D的语言模型来了！UCLA、上交、MIT等联合提出DLLM：性能大涨 具体来说，主要有三种方法来提示纯文本GPT模型来生成数据： 基于boxesdemonstrationinstruction的提示。

输入三维场景中房间和物体的轴对齐包围框（AABB），然后向GPT模型提供具体指令，以生成多样化的数据。 研究人员给GPT模型提供个少样本演示示例，用来指示生成的数据类型。 基于ChatCaptioner的提示。 使用ChatGPT输入提示询问一系列关于图像的有信息量的问题（informative questions），然后用BLIP模型回答这些问题。 为了收集三维相关数据，研究人员将不同视角的图像输入 BLIP，然后要求ChatGPT提问并收集不同区域的信息，从而形成整个场景的全局三维描述。