Багатокрокова система саморецензування для перетворення природної мови у Cypher-запити Neo4j
DOI:
https://doi.org/10.30837/bi.2025.2(103).09Ключові слова:
LLM, CYPHER, NEO4J, ГЕНЕРАЦІЯ ЗАПИТІВ, САМОПЕРЕВІРКА, ГРАФ ЗНАНЬ, OLAP, АНАЛІТИЧНІ СИСТЕМИ, RAG, ВАЛІДАЦІЯ ЗАПИТІВАнотація
У статті представлено багатокрокову систему саморецензування для автоматизованого перетворення текстових запитів природною мовою у Cypher-запити до графової бази даних Neo4j. Робота поєднує механізми самоперевірки великих мовних моделей (LLM), аналіз структури графа знань та багаторівневу валідацію синтаксису й семантики згенерованих запитів. Запропонований підхід включає три основні етапи: попередній аналіз схеми графа, первинну генерацію запиту на основі LLM та ітеративну самоперевірку з використанням агентів валідації, які виявляють логічні, структурні та аналітичні помилки. Запропонована система впроваджена у прототипі програмного забезпечення, що виконує експериментальне порівняння генерації запитів із самоперевіркою та без неї. Результати експериментів показують, що використання self-review механізму забезпечує підвищення коректності Cypher-запитів, зменшення кількості логічних та структурних помилок і покращення відповідності сформованих запитів аналітичним OLAP-вимогам. Отримані результати підтверджують ефективність багатокрокового саморецензування для підвищення надійності текстового інтерфейсу до графових аналітичних систем.
Посилання
Tamašauskaitė, G., & Groth, P. (2022). Defining a Knowledge Graph Development Process Through a Systematic Review. ACM Transactions on Software Engineering and Methodology, 32, 1 - 40. https://doi.org/10.1145/3522586.
Tan, Xingyu & Wang, Xiaoyang & Liu, Qing & Xu, Xiwei & Yuan, Xin & Zhang, Wenjie. (2024). Paths-over-Graph: Knowledge Graph Empowered Large Language Model Reasoning. 10.48550/arXiv.2410.14211.
Shirui Pan, Linhao Luo, Yufei Wang, Chen Chen, Jiapu Wang, and Xindong Wu. 2024. Unifying large language models and knowledge graphs: A roadmap. IEEE Transactions on Knowledge and Data Engineering (2024).
Business intelligence for the people. https://eric.univ-lyon2.fr/bi4people/index-en.html
Muhammad, F., Darmont, J., Favre, C.: The Collaborative Business Intelligence Ontology (CBIOnt). 18e journées Business Intelligence et Big Data (EDA-22), Vol. B-18. Clermont- Ferrand, Octobre 2022, RNTI (2022)
Cherednichenko, O., Sutiahin, O.: Development of Collaborative Business Intelligence Framework for Tourism Domain Analysis. In: Tekli, J., et al. (eds.) New Trends in Database and Information Systems. ADBIS 2024. CCIS, vol. 2186, pp. 270–281. Springer, Cham (2025). https://doi.org/10.1007/978-3-031-70421-5_21
Cube. Available: https://cube.dev/, last accessed 2025/11/16
Hong, Ruixin & Zhang, Hongming & Pang, Xinyu & Yu, Dong & Zhang, Changshui. (2024). A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning. 900-925. 10.18653/v1/2024.naacl-long.52.
OpenAI, "GPT-OSS-120B," OpenAI Platform Documentation. Available: https://platform.openai.com/docs/models/gpt-oss-120b, last accessed 2025/11/18.
Meta and Ollama, "Llama 3.3 70B," Ollama Model Library. Available: https://ollama.com/library/llama3.3:70b, last accessed 2025/11/15.
xAI, "Grok," xAI Official Documentation. Available: https://x.ai/, last accessed 2025/11/15.
OpenAI, "GPT-4o," OpenAI Platform Documentation. Available: https://platform.openai.com/docs/models/gpt-4o, last accessed 2025/11/14.
Neo4j, "Neo4j AuraDB: Fully Managed Graph Database," Neo4j Product Documentation. Available: https://neo4j.com/product/auradb/, last accessed 2025/11/10.
Reddit, "Reddit - Dive into anything,". Available: https://www.reddit.com/, last accessed 2025/11/01.
Confident AI: deepeval documentation. https://docs.confident-ai.com/ (2025), last accessed 2025/11/15.
Muller, S., Loison, A., Omrani, B., Viaud, G.: GroUSE: A Benchmark to Evaluate Evaluators in Grounded Question Answering. arXiv preprint arXiv:2409.06595 (2024).
Shahul Es, J.J., Espinosa-Anke, L., Schockaert, S.: Ragas: Automated Evaluation of Retrieval Augmented Generation. arXiv preprint arXiv:2309.15217 (2023)
Gu, J., Jiang, X., Shi, Z., Tan, H., Zhai, X., Xu, C., Li, W., Shen, Y., Ma, S., Liu, H., Wang, Y., Guo, J.: A Survey on LLM-as-a-Judge. arXiv preprint arXiv:2411.15594 (2024)
Liu, Y., Iter, D., Xu, Y., Wang, S., Xu, R., Zhu, C.: G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment. arXiv preprint arXiv:2303.16634 (2023)
Weng, Yixuan, et al. "Large language models are better reasoners with self-verification." Findings of the Association for Computational Linguistics: EMNLP 2023. 2023.
Longfei Chen, Shenghan Gao, Shiwei Wang. 2025. QueryGenie: Making LLM-Based Database Querying Transparent and Controllable. In Adjunct Proceedings of the 38th Annual ACM Symposium on User Interface Software and Technology (UIST Adjunct '25). Association for Computing Machinery, New York, NY, USA, Article 49, 1–4. https://doi.org/10.1145/3746058.3758982
Askari, Arian, Christian Poelitz, and Xinye Tang. "Magic: Generating self-correction guideline for in-context text-to-sql." In Proceedings of the AAAI Conference on Artificial Intelligence, vol. 39, no. 22, pp. 23433-23441. 2025.
Qu, G., Li, J., Li, B., Qin, B., & Cheng, R. (2024). Before generation, align it! a novel and effective strategy for mitigating hallucinations in text-to-sql generation. arXiv preprint arXiv:2405.15307.
Aman Madaan, Niket Tandon, Luyu Gao, Sarah Wiegreffe, Nouha Dziri, Shrimai Prabhumoye, Yiming Yang, et al. 2023. Self-refine: Iterative refinement with self-feedback. Advances in Neural Information Processing Syste
