International Conference on Information and Knowledge Technology

فارسی

Home / پانزدهمین کنفرانس بین المللی فناوری اطلاعات و دانش

Benchmarking Embedding Models for Persian-Language Semantic Information Retrieval

Authors :

Mahmood Kalantari¹ Mehdi Feghhi² Nasser Mozayani³

1- دانشگاه علم و صنعت ایران 2- دانشگاه علم و صنعت ایران 3- دانشگاه علم و صنعت ایران

Keywords :

Embedding search،Embedding models،Persian embedding،Persian question-answering،Retrieval-Augmented Generation (RAG)

Abstract :

The increasing reliance on semantic-based retrieval, especially in the context of large language model-powered chatbots, underscores the need for robust evaluation of embedding models. In this study, the performance of embedding models for Persian-language information retrieval was investigated, addressing an area with limited prior research. Four question-answering datasets were used—two publicly available datasets adapted for this study and two custom datasets derived from translations. A systematic evaluation of 17 embedding models was conducted, and the models were ranked based on their accuracy in retrieving relevant content using similarity measures such as dot product, cosine similarity, and L2 distance. The findings emphasize the adaptability of these models to diverse textual data and address the specific challenges posed by the Persian language. This research bridges a critical gap in Persian-language retrieval tasks, providing a comprehensive benchmark for evaluating embedding models in semantic information retrieval scenarios.

List of archived papers

انتخاب ویژگی با استفاده از الگوریتم بهینه سازی ذرات مبتنی بر استراتژی خود تطبیقی دودویی جهت تشخیص بیماری

الهام صالحی - دکتر محمدرضا کرمی ملایی - دکتر حسام عمرانپور الهام صالحی - محمدرضا کرمی ملایی - حسام عمرانپور -

شناسایی کمپلکس‎ های پروتئینی با استفاده از داده‎ های زیستی و خوشه بندی فازی

مریم مولی وردیخانی - دکتر سعید جلیلی مریم مولی وردیخانی - سعید جلیلی -

PersianRAG A Retrieval Augmented Generation System for Persian Language

Hossein Hosseini - Mohammad Sobhan Zare - Amir Hossein Mohammadi - Arefeh Kazemi - Zahra Zojaji - Mohammad Ali Nematbakhsh

یک سیستم پاسخ به نفوذ در شبکه های اینترنت اشیاء با استفاده از شبکه های مبتنی بر نرم افزار

احسان شاهرخی مینا - رضا محمدی - محمد نصیری

ارائه یک رویکرد معنایی مبتنی بر آنتولوژی به منظور شناسایی تاکتیک‏های معماری

احسان شریفی - دکتر احمد عبدالله زاده بارفروش

A Deep Learning Framework for Phase-Aware Feature Representation to Improve Sound Source Direction and Distance Estimation

Zahra Abolfazli - Hamid Reza Abutalebi

A High-Speed Quantum Reversible Controlled Adder/Subtractor Circuit

Negin Mashayekhi - Mohammad Reza Reshadinezhad - Shekoofeh Moghimi

Investigating the impact of management information systems (MIS) on organizational transparency with an emphasis on work ethics

Sadegh Balouch - Omid mehdi Ebadati

Beyond One-Hot: CatBoost for Heating and Cooling Load Prediction

Shayan Naghizadeh - Mohammad Saeed Rajabi - Ehsan Nazerfard

Ensemble Model Based on an Improved Convolutional Neural Network with a Domain-agnostic Data Augmentation Technique

Faraz Fatahnaie - Armin Azhdehnia - Seyyed Amir Asghari - Mohammadreza Binesh Marvasti

more

Samin Hamayesh - Version 44.2.0