Pendekatan Berbasis Rule Untuk Mengidentifikasi Pertanyaan Tak Terdefinisi Pada Masalah Text-to-SQL

Abstract

Abstract: This study aims to evaluate the performance of a rule-based approach in detecting undefined questions within the Text-to-SQL problem, which involves translating natural language into SQL queries automatically. The research is motivated by the growing demand for intelligent systems capable of understanding user input and generating accurate database queries. A rule-based expert system was developed using a forward chaining inference strategy, implemented through the Experta library in Python. The knowledge base was constructed based on information collected from 15 domain experts, and the system was tested using 20 evaluation sentences relevant to an inventory database schema. The experimental results indicate that the system achieved a precision of 100%, but the recall was limited to 55.56%, resulting in an overall accuracy of 60%. These findings suggest that strict rule-based approaches are highly effective in recognizing predefined query patterns but remain less capable of handling unseen variations. Future work recommends combining rule-based methods with machine learning to improve performance.

Abstrak: Penelitian ini bertujuan mengevaluasi kinerja pendekatan berbasis aturan dalam mendeteksi pertanyaan tak terdefinisi pada permasalahan Text-to-SQL, yaitu proses penerjemahan bahasa alami menjadi perintah SQL secara otomatis. Penelitian ini dilatarbelakangi oleh meningkatnya kebutuhan sistem yang mampu memahami bahasa pengguna dan menghasilkan kueri yang akurat pada basis data. Sistem pakar dikembangkan dengan strategi inferensi forward chaining yang diimplementasikan melalui pustaka Experta pada bahasa pemrograman Python. Basis pengetahuan disusun berdasarkan hasil akuisisi informasi dari 15 pakar domain, sedangkan pengujian dilakukan menggunakan 20 kalimat uji yang relevan dengan skema basis data inventori. Hasil eksperimen menunjukkan bahwa sistem mencapai tingkat presisi 100%, tetapi nilai recall hanya 55,56%, dengan akurasi keseluruhan 60%. Temuan ini menunjukkan bahwa aturan yang ketat sangat efektif dalam mengenali pola pertanyaan terdefinisi tanpa menghasilkan kesalahan positif, namun masih kurang optimal dalam menangani variasi struktur kalimat. Implikasi penelitian ini membuka peluang pengembangan sistem hybrid yang menggabungkan pendekatan berbasis aturan dengan pembelajaran mesin untuk meningkatkan kinerja sistem secara keseluruhan.