Please wait ...
0% Complete
فارسی
Home
/
پانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش
Benchmarking Embedding Models for Persian-Language Semantic Information Retrieval
Authors :
Mahmood Kalantari
1
Mehdi Feghhi
2
Nasser Mozayani
3
1- دانشگاه علم و صنعت ایران
2- دانشگاه علم و صنعت ایران
3- دانشگاه علم و صنعت ایران
Keywords :
Embedding search،Embedding models،Persian embedding،Persian question-answering،Retrieval-Augmented Generation (RAG)
Abstract :
The increasing reliance on semantic-based retrieval, especially in the context of large language model-powered chatbots, underscores the need for robust evaluation of embedding models. In this study, the performance of embedding models for Persian-language information retrieval was investigated, addressing an area with limited prior research. Four question-answering datasets were used—two publicly available datasets adapted for this study and two custom datasets derived from translations. A systematic evaluation of 17 embedding models was conducted, and the models were ranked based on their accuracy in retrieving relevant content using similarity measures such as dot product, cosine similarity, and L2 distance. The findings emphasize the adaptability of these models to diverse textual data and address the specific challenges posed by the Persian language. This research bridges a critical gap in Persian-language retrieval tasks, providing a comprehensive benchmark for evaluating embedding models in semantic information retrieval scenarios.
Papers List
List of archived papers
A Comparative Evaluation of Machine Learning Models for Anomaly-Based IDS in IoT Networks
Seyed Amir Mousavi - Mostafa Sadeghi - Mohammad Sadeq Sirjani
From Faces to Words: An Efficient Persian Visual Lip Reading
Mana Amini - Sajjad Aemmi - Azadeh Ashouri - Reza Akhoundzadeh - Kourosh Hassanzadeh - Mohammad Reza Mohammadi
قطعه بندی خودکار توده کلیه در تصاویر توموگرافی کامپیوتری با استفاده از همافزایی شبکه عصبی عمیق U-Net و الگوریتم فراابتکاری نهنگ
علی خلیلی - محمد مصلح - محمد خیراندیش
Classical-Quantum Multiple Access Wiretap Channel with Common Message: One-shot Rate Region
Hadi Aghaee - Dr Bahareh Akhbari
پیش بینی گره های رهبر در شبکه های اجتماعی با استفاده از پیش بینی پیوند
روح اله رشیدی - فرساد زمانی بروجنی - محمد رضا سلطان آقایی - هادی فرهادی
جمعآوری، تحلیل و خلاصه سازی نظرات کاربران فارسی زبان در شبکههای اجتماعی پیرامون بیماری فراگیر کووید-19
محمدرضا شمس - محمد یاسین فخار محمدرضا شمس - محمد یاسین فخار -
جانمایی توزیعشده محتوا برای ذخیرهسازی موقت در شبکههای سلولی کوچک با حضور کاربران مخرب
زهرا رشیدی - دکتر وصال حکمی - حانیه سلمانطاهری زهرا رشیدی - وصال حکمی - حانیه سلمانطاهری -
SBST challenges from the perspective of the test techniques
Sepideh Kashefi Gargari - Dr Mohammad Reza Keyvanpour
An efficient hybrid approach for performance-based alternative design evaluation in systems engineering
Abbas Chaman Para - Maryam Nooraei Abadeh - Sondos Bahadori
تحلیل و بررسی تکنیکهای محاسبات تقریبی
محمد میلاد صیاد - محمد رضا بینش مروستی - سید امیر اصغری
more
Samin Hamayesh - Version 45.0.1