International Conference on Information and Knowledge Technology

فارسی

Home / پانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش

Benchmarking Embedding Models for Persian-Language Semantic Information Retrieval

Authors :

Mahmood Kalantari¹ Mehdi Feghhi² Nasser Mozayani³

1- دانشگاه علم و صنعت ایران 2- دانشگاه علم و صنعت ایران 3- دانشگاه علم و صنعت ایران

Keywords :

Embedding search،Embedding models،Persian embedding،Persian question-answering،Retrieval-Augmented Generation (RAG)

Abstract :

The increasing reliance on semantic-based retrieval, especially in the context of large language model-powered chatbots, underscores the need for robust evaluation of embedding models. In this study, the performance of embedding models for Persian-language information retrieval was investigated, addressing an area with limited prior research. Four question-answering datasets were used—two publicly available datasets adapted for this study and two custom datasets derived from translations. A systematic evaluation of 17 embedding models was conducted, and the models were ranked based on their accuracy in retrieving relevant content using similarity measures such as dot product, cosine similarity, and L2 distance. The findings emphasize the adaptability of these models to diverse textual data and address the specific challenges posed by the Persian language. This research bridges a critical gap in Persian-language retrieval tasks, providing a comprehensive benchmark for evaluating embedding models in semantic information retrieval scenarios.

List of archived papers

ساخت پیکره برچسب خورده گزارش های آسیب شناسی

مسلم سمیعی پاقلعه - مهرنوش شمس فرد

Leveraging Retrieval-Augmented Generation for Persian University Knowledge Retrieval

Arshia Hemmat - Mohammad Hassan Heydari - Kianoosh Vadaei - Afsaneh Fatemi

بکارگیری الگوریتم بهینه سازی فاخته و منطق فازی به منظور بهبود زمانبندی وظایف در محیط محاسبات مه

فاطمه دوامی - حمید جلیلوند - فاطمه نجفی

حفظ حریم خصوصی در انتشار نسخه های متوالی داده‌های شبکه اجتماعی با امکان افزایش یال

طاهره سرزهی - دکتر مهری رجایی طاهره سرزهی - مهری رجایی -

Application of Artificial Intelligence and Remote Sensing for Oil Spill Detection

َAmir Reza Ziaee - Masomeh Azimzadeh - Parvin Ahmadi

روشی چندوجهی برای تحلیل احساسات در زبان فارسی با استفاده نشریه ساختار بلاغی و ترنسفرمرها

ریحانه احمدی علیائی - امینه امینی - عباس جلیلوند

روشی برای بهبود آزمون جهش پیشگویانه با در نظر گرفتن اثر داده های از دست رفته

طه رستمی - دکتر سعید جلیلی طه رستمی - سعید جلیلی -

خوشه‌بندی موثر در استخراج توضیحات مفهوم‌محور خودکار برای شبکه‌های پیچشی

سعید معروف - مریم امیرمزلقانی - رضا صفابخش

تشخیص ارتباط معنایی در استک‌اورفلو با رمزگذار جمله جهانی

مجید دلیری - جعفر حبیبی - عیسی انامرادنژاد

Aspect-Based Sentiment Analysis of After-Sales Service Quality: A Case Study of Snowa and Competitors Using Digikala Reviews

Safiyeh Samadanian - Marjan Kaedi

more

Samin Hamayesh - Version 44.5.0