要素技術： GAN(Generative Adversarial Networks), CLIP(Contrastive Language-Image Pre-training)

AIは大まかな特徴を掴んで類似の画像を生成することには優れている一方で、小さな点の集合を正確に生成することは苦手としています。そこで、敵対的生成ネットワーク(GAN)による画像生成と、画像とテキストを組み合わせたマルチモーダル学習(CLIP)による類似度計算を組み合わせることで、テキスト情報に即した画像を生成する手法を提案しました。

要素技術： GAN(Generative Adversarial Networks), Data Augmentation, t-SNE, k-means法

赤外線リングのデータセットをDataAugmentationで拡張し、それを敵対的生成ネットワーク(GAN)で学習させて生成した画像をリングかどうか識別する手法を提案しました。また、銀河衝突シミュレーションにより銀河を作成し、それを用いて観測者から見た空の様子を示す画像を生成する手法を提案しました。

要素技術： RLHF(Reinforcement Learning from Human Feedback), ChatGPT, LoRA(Low-Rank Adaptation), BERT(Bidirectional Encoder Representations from Transformers)

大規模言語モデル(LLM)の価値観や目的を人間と合致させるためアライメントの調整が必要とされるようになり、人間のフィードバックからの強化学習(RLHF)が注目されています。そこで、ゲームシナリオデータを用いて、数文字に続くキャラクターの性格にあった文章を生成することでRLHFを用いたLLMの学習手法を検討しました。