VIGC: Visual Instruction Generation and Correction(Aug 2023, AAAI)

[ooooohira]

論文リンク

https://arxiv.org/abs/2308.12714

著者

Bin Wang, Fan Wu, Xiao Han, Jiahui Peng, Huaping Zhong, Pan Zhang, Xiaoyi Dong, Weijia Li, Wei Li, Jiaqi Wang, Conghui He

投稿年

24 Aug 2023

新規性や利点

高品質で多様なinstructionデータを自動生成する手法を考案。

提案手法

Visual Instruction Generation：instructionと画像から質問-回答のペアを作成。
Visual Instruction Correction：instructionと質問と画像から、回答を作成

inference時にtermination symbolが現れるまで(モデルが何も吐かなくなるまで)、VICを続ける。

実験

MiniGPT4 ベースのモデルをLLAVAデータセットと、OKVQA（Marino et al. 2019）およびA-OKVQAデータセットを使用して、VIGCとしてトレーニング。
COCO（Lin et al. 2014）およびObjects365でVIGCでデータセットを自動的に作成。
それをもとにいろんなモデルをトレーニング。

結果と考察

LLAVAデータセットより有効働いている。

感想や疑問点

参考