Информационно-поисковые системы (ИПС), использующие поиск на естественном языке, требуют особых методов оценки. В статье приводится ряд способов оценки подобных систем, а также описывается структура ИПС КАСКАД и преимущества одного из возможных вариантов оценки эффективности ИПС методом нечёткой логики (на примере данной ИПС). Для количественной оценки качества поиска используются одновременно два частных критерия: критерий полноты и критерий точности поиска. Зависимость оценки качества ИПС от коэффициента полноты наглядно проиллюстрирована на рисунке. Проведённый эксперимент позволил сделать вывод о том, что оценка качества ИПС определяется не только техническими характеристиками самой ИПС, но и зависит от формулировки запроса.
Natural language-based information retrieval systems demand specific estimation methods. In the article a number of estimation methods of these systems are presented, the structure of information retrieval system KASKAD is described and advantages of one of the possible variants of estimating search systems efficiency using the fuzzy logic method are given. Two criteria are used for quantitative evaluation of search system quality - the search completeness and search precision. The dependence of search system quality evaluation on the criterion of completeness is illustrated on the graph. The experiment showed that the information retrieval system evaluation is determined not only by its technical characteristics but by wording of the request for information.
The authors declare that there are no conflicts of interest present.