RFCB: Оценка вызова функций для русского языка

В статье представлен RFCB (Russian Function-Calling Benchmark) — русскоязычная адаптация одно- и многоходовых подмножеств тестового набора BFCL (Berkeley Function-Calling Leaderboard), предназначенного для оценки способности больших языковых моделей вызывать внешние функции. Пользовательские запросы, описания функций и строковые значения переведены на русский язык; идентификаторы функций, JSON-схемы и типизированные поля сохранены без изменений. Проведена оценка закрытых и открытых моделей разного размера. Предложен обучающий конвейер, собирающий траектории выполнения задач и поддерживающий три режима оптимизации: дообучение с учителем (SFT), прямую оптимизацию предпочтений (DPO) и групповую относительную оптимизацию политики (GRPO). Конвейер построен на модифицированной платформе FTRL с параллельным исследованием нескольких траекторий решения задачи. Представлены результаты межъязыкового сопоставления по одноходовым показателям, по успешности многоходовых задач (оцениваемой по итоговому состоянию окружения), по устойчивости к длинному контексту и отсутствующим данным, а также по вычислительной эффективности. Одноходовая точность остаётся близкой к исходной при устойчивом отставании русскоязычной версии от английской, тогда как многоходовая оценка выявляет заметные преимущества увеличения размера модели и применения методов обучения с подкреплением (DPO, GRPO). Наилучший результат даёт обучение методом GRPO, причём на русскоязычной версии показатели превосходят английские на 6,5 процентных пункта, обращая вспять типичное межъязыковое отставание.

1. Patil S.G., Mao H., Yan F., Ji C.C.-J., Suresh V., Stoica I., Gonzalez J.E. The Berkeley Function Calling Leaderboard (BFCL): From Tool Use to Agentic Evaluation of Large Language Models. Proceedings of the 42nd International Conference on Machine Learning. Proceedings of Machine Learning Research, 2025, vol. 267. pp. 48371-48392. Available at: https://proceedings.mlr.press/v267/patil25a.html, accessed: 22.12.2025.

2. Nexusflow. Nexus Function Calling Leaderboard. Hugging Face Spaces, 2023. Available at: https://huggingface.co/spaces/Nexusflow/Nexus_Function_Calling_Leaderboard, accessed: 22.12.2025.

3. Li M., Zhao Y., Yu B., Song F., Li H., Yu H., Li Z., Huang F., Li Y. API-Bank: A Comprehensive Benchmark for Tool-Augmented LLMs. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing, 2023. pp. 3102-3116. Available at: https://aclanthology.org/2023.emnlp-main.187/, accessed: 22.12.2025. DOI: 10.18653/v1/2023.emnlp-main.187.

4. Qin Y., Liang S., Ye Y., Zhu K., Yan L., Lu Y., Lin Y., Cong X., Tang X., Qian B., Zhao S., Hong L., Tian R., Xie R., Zhou J., Gerstein M., Li D., Liu Z., Sun M. ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs. International Conference on Learning Representations (ICLR 2024), 2024. Available at: https://openreview.net/forum?id=dHng2O0Jjr, accessed: 22.12.2025.

5. Guo Z., Cheng S., Wang H., Liang S., Qin Y., Li P., Liu Z., Sun M., Liu Y. StableToolBench: Towards Stable Large-Scale Benchmarking on Tool Learning of Large Language Models. Findings of the Association for Computational Linguistics: ACL 2024, 2024. pp. 11143-11156. Available at: https://aclanthology.org/2024.findings-acl.664/, accessed: 22.12.2025. DOI: 10.18653/v1/2024.findings-acl.664.

6. Styles O., Miller S., Cerda-Mardini P., Guha T., Sanchez V., Vidgen B. WorkBench: a Benchmark Dataset for Agents in a Realistic Workplace Setting. arXiv preprint arXiv:2405.00823, 2024. Available at: https://arxiv.org/abs/2405.00823, accessed: 22.12.2025. DOI: 10.48550/arXiv.2405.00823.

7. Yao S., Shinn N., Razavi P., Narasimhan K. tau-bench: A Benchmark for Tool-Agent-User Interaction in Real-World Domains. arXiv preprint arXiv:2406.12045, 2024. Available at: https://arxiv.org/abs/2406.12045, accessed: 22.12.2025. DOI: 10.48550/arXiv.2406.12045.

8. Kwon W., Li Z., Zhuang S., Sheng Y., Zheng L., Yu C.H., Gonzalez J.E., Zhang H., Stoica I. Efficient Memory Management for Large Language Model Serving with PagedAttention. Proceedings of the 29th Symposium on Operating Systems Principles (SOSP 2023), 2023, pp. 611-626. Available at: https://doi.org/10.1145/3600006.3613165, accessed: 22.12.2025. DOI: 10.1145/3600006.3613165.

9. Ye J., Jiang C., Du Z., Xu Y., Yao X., Xi Z., Fan X., Zhang Q., Gui T., Huang X., Chen J. Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments. arXiv preprint arXiv:2508.08791, 2025. Available at: https://arxiv.org/abs/2508.08791, accessed: 22.12.2025. DOI: 10.48550/arXiv.2508.08791.

10. Hu E.J., Shen Y., Wallis P., Allen-Zhu Z., Li Y., Wang S., Wang L., Chen W. LoRA: Low-Rank Adaptation of Large Language Models. International Conference on Learning Representations (ICLR 2022), 2022. Available at: https://openreview.net/forum?id=nZeVKeeFYf9, accessed: 22.12.2025.

11. Rafailov R., Sharma A., Mitchell E., Manning C.D., Ermon S., Finn C. Direct Preference Optimization: Your Language Model is Secretly a Reward Model. Advances in Neural Information Processing Systems 36 (NeurIPS 2023), 2023, pp. 53728-53741. DOI: 10.5555/3666122.3668460.

12. Shao Z., Wang P., Zhu Q., Xu R., Song J., Bi X., Zhang H., Zhang M., Li Y.K., Wu Y., Guo D. DeepSeekMath: Pushing the Limits of Mathematical Reasoning in Open Language Models. arXiv preprint arXiv:2402.03300, 2024. Available at: https://arxiv.org/abs/2402.03300, accessed: 22.12.2025. DOI: 10.48550/arXiv.2402.03300.

13. Ionov T.R., Malykh V.A. RFCB: Russian Function-Calling Benchmark. GitHub repository, 2024. Available at: https://github.com/sir-timio/RFCB, accessed: 22.12.2025.