International Conference on Information and Knowledge Technology

فارسی

Home / چهاردهمین کنفرانس بین المللی فناوری اطلاعات و دانش

Improving Training Stability in Variational Autoencoders Through the Integration of Score Matching Loss

Authors :

Amirreza Mokhtari Rad¹ Pouya Ardehkhani² Hormehr Alborzi³

1- پردیس فارابی دانشگاه تهران 2- پردیس فارابی دانشگاه تهران 3- پردیس فارابی دانشگاه تهران

Keywords :

Variational Auto Encoder،Training،Stability،Generative Models،Score Matching

Abstract :

In this research, a Variational Autoencoder (VAE) model was developed, and the CIFAR100 dataset was employed as the primary data source. The problem addressed pertained to the instability in the training process of VAE models. To mitigate this issue, various loss expressions were explored, including the use of score matching loss independently, in conjunction with total variation loss, and in combination with reconstruction loss. The innovative approach revealed that when score matching loss was integrated either with total variation loss or when applied as a standalone loss function, the training process exhibited increased stability. This was evident through smoother loss curves and latent space visualizations that displayed characteristics akin to a normal distribution. As a consequence, this novel approach promises the potential for building more stable generative models, which can significantly enhance the overall training process in VAEs. This innovation provides a valuable contribution to the field of generative modeling, with the prospect of addressing the longstanding challenge of training stability in VAEs, thereby opening avenues for more efficient and effective model development and application.

List of archived papers

An integrated approach for estimating software cost estimation using Adaptive Neuro-Fuzzy Inference System and the Grey Wolf Optimization algorithm

Maryam Karimi - Taghi Javdani Gandomani - Mahdi Mosleh

کشف برخط تقلب پیشنهاد ساختگی (Bid-Shielding) در مناقصه و مزایده‌های الکترونیکی هلندی با رویکرد تحلیل شبکه اجتماعی

فاطمه الثلایا - دکتر سید علیرضا هاشمی گلپایگانی فاطمه الثلایا - سید علیرضا هاشمی گلپایگانی -

شناسایی وبگاه های دام‌چینی به کمک شبکه عصبی گسسته‌ساز بردار یادگیر (LVQ)

یگانه ستاری - غلامعلی منتظر

An LLM-Based Approach for Clarifying the Decisions of Vision Models in Autonomous Vehicles

Omid Mosalmani - Mohammad Javad Rashti - Seyed Enayat Alavi

تشخیص و جلوگیری از حمله انعکاسی/تقویتی SSDP در شبکه های نرم افزار محور مبتنی بر 4P با استفاده از الگوریتم های یادگیری ماشین

امیرحسین کرمی - رضا محمدی

بررسی روش‌ها، مجموعه‌های داده و معیارهای ارزیابی در حوزه‌ی پرسش از متون درون تصویر

کبری فرشیدی - حسن ختن‌لو - محرم منصوری زاده - الهام علی قارداش

An Attention-Enhanced Hybrid Deep Learning Framework for Detecting Denial-of-Wallet Attacks in Serverless Platforms

Mohammad Mehmandoost - HadiShahriar Shahhoseini

رویکرد تطبیقی-ترکیبی در پیاده‌سازی مشارکت الکترونیکی پایدار: درس‌آموخته‌های بین‌المللی و مدل پیشنهادی ایران

عاطفه فرازمند - فاطمه پاک مهر

AOV-IDS: Arithmetic Optimizer with Voting classifier for Intrusion Detection System

Amir Soltany Mahboob - Mohammad Reza Ostadi Moghaddam - Shima Yousefi

حفظ حریم خصوصی در انتشار نسخه های متوالی داده‌های شبکه اجتماعی با امکان افزایش یال

طاهره سرزهی - دکتر مهری رجایی طاهره سرزهی - مهری رجایی -

more

Samin Hamayesh - Version 43.8.0