JavaCapsule: Итеративная генерация и отладка Java-кода на основе структурированной обратной связи

Ограничения при выполнении задач, требующих точного извлечения информации из сверхдлинных последовательностей, приводят к снижению качества генерации и отладки кода крупных объектно-ориентированных систем, характеризующихся сложными межклассовыми зависимостями и необходимостью анализа длинных трассировок выполнения, превышающих размеры стандартных контекстных окон. Предлагается технология JavaCapsule для генерации и отладки Java-кода, реализующая итеративную отладку на основе структурированной обратной связи, включающей результаты выполнения тестов и трассировки выполнения. Для обработки сверхдлинного контекста исследуется Ассоциативный рекуррентный трансформер с памятью (Associative Recurrent Memory Transformer, ARMT), демонстрирующий точность извлечения информации до 99% на последовательностях длиной до 1 миллиона токенов. Для корректной оценки разработан JavaBench+ – модернизированный набор задач с устраненными дефектами, предоставляющий расширенный цикл обратной связи. Экспериментальные результаты показывают, что JavaCapsule обеспечивает увеличение качества генерации на 20 процентов по метрике Pass@1 по сравнению с базовой моделью Google Gemma-3-27B-it, а исследование архитектуры ARMT подтверждает возможность эффективной обработки сверхдлинных последовательностей.

1. Cao J., Chen Z., Wu J., Cheung S., Xu C. JavaBench: A Benchmark of Object-Oriented Code Generation for Evaluating Large Language Models. Proceedings of the 39th IEEE/ACM International Conference on Automated Software Engineering, 2024. P. 870–882. DOI: 10.1145/3691620.3695470.

2. Kamradt, G. Needle in A Haystack – Pressure Testing LLMs. Available at: https://github.com/gkamradt/LLMTest_NeedleInAHaystack, accessed 29.12.2025.

3. Kuratov Y., Bulatov A., Anokhin P., Rodkin I., Sorokin D., Sorokin A., Burtsev M. BABILong: testing the limits of LLMs with long context reasoning-in-a-haystack. Proceedings of the 38th International Conference on Neural Information Processing Systems, 2024. Vol. 37. P. 106519–106554.

4. Chen X., Lin M., Schärli N., Zhou D. Teaching Large Language Models to Self-Debug. Proceedings of the 12th International Conference on Learning Representations (ICLR), 2024.

5. Adnan M., Xu Z., Kuhn C. C. N. Large Language Model Guided Self-Debugging Code Generation. arXiv preprint, 2025. DOI: 10.48550/arXiv.2502.02928.

6. Bulatov A., Kuratov Y., Burtsev M. Recurrent Memory Transformer. Advances in Neural Information Processing Systems, 2022. Vol. 35. P. 11079–11091. DOI: 10.52202/068431-0805.

7. Burtsev M. S., Kuratov Y., Peganov A., Sapunov G. V. Memory Transformer. arXiv preprint, 2020. DOI: 10.48550/arXiv.2006.11527.

8. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A.N., Kaiser L., Polosukhin I. Attention Is All You Need. Advances in Neural Information Processing Systems, 2017. Vol. 30. P. 5998–6008.

9. Lahoti A., Li K., Chen B., Wang C., Bick A., Kolter J.Z., Dao T., Gu A. Mamba-3: Improved Sequence Modeling using State Space Principles. Proceedings of the 14th International Conference on Learning Representations (ICLR), 2026.

10. Glorioso P., Anthony Q., Tokpanov Y., Golubeva A., Shyam V., Whittington J., Pilault J., Millidge B. The Zamba2 Suite: Technical Report. arXiv preprint, 2024. DOI: 10.48550/arXiv.2411.15242.

11. NVIDIA, Blakeman A., Basant A., Khattar A., Renduchintala A., Bercovich A., Ficek A., et al. Nemotron-H: A Family of Accurate and Efficient Hybrid Mamba-Transformer Models. arXiv preprint, 2025. DOI: 10.48550/arXiv.2504.03624.

12. Hou H., Huang Z., Tan K., Lu R., Yu F. R. RWKV-X: A Linear Complexity Hybrid Language Model. arXiv preprint, 2025. DOI: 10.48550/arXiv.2504.21463.