Analisis Arsitektur Sistem Terdistribusi pada Chatbot Customer Service E-Commerce Menggunakan Load Balancing dan Message Queue: Studi Kasus Shopee
Keywords:
chatbot, e-commerce, sistem terdistribusi, load balancing, message queue.Abstract
Perkembangan e-commerce menyebabkan meningkatnya interaksi antara pengguna dan platform, termasuk dalam layanan customer service. Chatbot menjadi salah satu teknologi yang digunakan untuk memberikan respons otomatis kepada pengguna. Namun, pada platform e-commerce berskala besar seperti Shopee, jumlah permintaan pengguna dapat meningkat secara signifikan, terutama saat promo besar, flash sale, atau festival belanja. Kondisi tersebut dapat menimbulkan masalah pada arsitektur chatbot yang masih terpusat, seperti bottleneck, keterlambatan respons, single point of failure, dan keterbatasan skalabilitas. Penelitian ini bertujuan untuk menganalisis arsitektur sistem terdistribusi pada chatbot customer service e-commerce dengan menggunakan load balancing dan message queue. Metode penelitian yang digunakan adalah studi literatur dan analisis konseptual terhadap arsitektur awal, identifikasi masalah, perancangan arsitektur usulan, serta perbandingan arsitektur. Hasil analisis menunjukkan bahwa load balancing dapat membantu mendistribusikan permintaan pengguna ke beberapa chatbot server, sedangkan message queue dapat mengelola antrean pesan secara asinkron sehingga beban terhadap backend service dan database lebih terkendali. Arsitektur usulan dinilai mampu meningkatkan scalability, response time, reliability, availability, fault tolerance, dan maintainability. Dengan demikian, kombinasi load balancing dan message queue dapat menjadi pendekatan konseptual yang relevan untuk meningkatkan kualitas layanan chatbot customer service pada platform e-commerce berskala besar.
References
[1] . Analisis ini dilakukan berdasarkan referensi dan studi kasus yang tersedia secara publik, tanpa menggunakan data atau sistem internal Shopee. Pada arsitektur dasar, pesan dari pengguna akan langsung dikirim ke satu server chatbot untuk diproses, kemudian server mengakses database dan mengirimkan respons kembali kepada pengguna. Arsitektur ini cukup sederhana dan mudah diterapkan, tetapi memiliki beberapa keterbatasan ketika digunakan pada skala besar. Seluruh beban pemrosesan berada pada satu server sehingga berisiko mengalami overload saat trafik meningkat. Selain itu, jika server mengalami gangguan, layanan chatbot dapat berhenti beroperasi. Oleh karena itu, analisis terhadap arsitektur awal diperlukan untuk mengidentifikasi kelemahan yang ada dan menjadi dasar dalam merancang arsitektur yang lebih andal dan skalabel. Identifikasi Masalah Beberapa permasalahan yang sering muncul pada arsitektur chatbot customer service yang masih menggunakan server terpusat adalah sebagai berikut. Bottleneck pada Server Tunggal Seluruh permintaan pengguna diproses oleh satu server sehingga berpotensi menimbulkan kemacetan ketika jumlah pengguna meningkat, terutama pada saat promo besar atau lonjakan trafik. Keterlambatan Respons Penumpukan permintaan dapat menyebabkan waktu respons chatbot menjadi lebih lambat, sehingga memengaruhi kualitas layanan yang diterima pengguna. Single Point of Failure Ketergantungan pada satu server membuat layanan rentan mengalami gangguan. Jika server utama gagal beroperasi, seluruh layanan chatbot dapat berhenti. Skalabilitas Terbatas Penambahan kapasitas sistem umumnya hanya dilakukan dengan meningkatkan spesifikasi server yang ada, sehingga kurang fleksibel untuk menghadapi pertumbuhan jumlah pengguna. Ketersediaan Layanan Rendah Ketersediaan layanan sangat bergantung pada kondisi satu server. Ketika terjadi gangguan, layanan tidak dapat berjalan secara optimal dan berpotensi mengurangi pengalaman pengguna. Permasalahan-permasalahan tersebut menunjukkan bahwa arsitektur terpusat memiliki keterbatasan dalam menangani kebutuhan layanan chatbot pada platform e-commerce berskala besar. Oleh karena itu, diperlukan rancangan arsitektur yang lebih skalabel, andal, dan mampu menjaga ketersediaan layanan
[2] , sehingga dapat mendukung peningkatan jumlah pengguna dan lonjakan trafik secara lebih efektif. Perancangan Arsitektur Usulan Berdasarkan permasalahan yang telah diidentifikasi, penelitian ini mengusulkan arsitektur sistem terdistribusi yang terdiri dari beberapa komponen utama, yaitu User, Load Balancer, Chatbot Service Cluster, Message Queue, Database, dan Monitoring Service. Pengguna mengakses layanan chatbot melalui aplikasi, kemudian permintaan akan diterima oleh load balancer yang bertugas membagi beban secara merata ke beberapa server chatbot. Dengan adanya beberapa server yang bekerja secara bersamaan, sistem dapat menangani lebih banyak permintaan dan tetap beroperasi meskipun salah satu server mengalami gangguan. Untuk mendukung proses layanan, message queue digunakan sebagai penghubung antara chatbot dan database sehingga pemrosesan data dapat dilakukan secara asinkron tanpa membebani sistem secara langsung. Database berfungsi menyimpan data percakapan dan informasi pendukung lainnya, sedangkan monitoring service digunakan untuk memantau kondisi seluruh komponen sistem secara real-time. Kombinasi komponen-komponen tersebut memungkinkan sistem chatbot bekerja lebih stabil, mudah dikembangkan, dan mampu menghadapi lonjakan trafik yang tinggi. Diagram Arsitektur Penelitian Untuk memberikan gambaran mengenai arsitektur sistem yang dianalisis dalam penelitian ini, disusun sebuah diagram arsitektur penelitian sebagaimana ditunjukkan pada Gambar 1. Diagram tersebut memperlihatkan hubungan antar komponen utama dalam arsitektur chatbot customer service berbasis sistem terdistribusi, mulai dari pengguna, load balancer, cluster chatbot, message queue, database, hingga monitoring service. Penyajian diagram ini bertujuan untuk mempermudah pemahaman mengenai alur pemrosesan permintaan pengguna dan peran masing-masing komponen dalam meningkatkan kinerja sistem. Gambar 1. Diagram Arsitektur Penelitian Berdasarkan Gambar 1, pengguna mengirimkan permintaan ke load balancer yang mendistribusikannya ke beberapa chatbot node. Selanjutnya, pesan diproses melalui message queue sebelum disimpan pada database. Seluruh komponen dipantau oleh monitoring service untuk menjaga kinerja dan ketersediaan sistem. Hasil dan Pembahasan Arsitektur Awal Chatbot Customer Service Arsitektur awal chatbot customer service pada platform e-commerce dalam penelitian ini digambarkan sebagai model arsitektur terpusat. Pada model ini, pengguna mengirimkan pesan atau pertanyaan melalui aplikasi e-commerce, kemudian pesan tersebut diteruskan ke satu chatbot server. Chatbot server berfungsi menerima, memproses, dan memahami pesan pengguna sebelum meneruskan permintaan ke customer service API. Selanjutnya, customer service API menghubungkan chatbot dengan layanan bisnis, seperti order service, payment service, dan shipping service. Data yang dibutuhkan kemudian diambil dari database untuk menghasilkan respons kepada pengguna. Gambar 2. Arsitektur Awal Chatbot Customer Service Berbasis Server Tunggal Berdasarkan Gambar 2, terlihat bahwa seluruh permintaan pengguna masih diproses melalui satu chatbot server. Arsitektur seperti ini memiliki alur yang sederhana dan mudah diterapkan, terutama pada sistem dengan jumlah pengguna yang belum terlalu besar. Namun, ketika digunakan pada platform e-commerce berskala besar, model ini memiliki beberapa kelemahan. Salah satu kelemahan utamanya adalah seluruh beban permintaan terpusat pada satu server, sehingga server tersebut berpotensi mengalami bottleneck ketika jumlah pesan pengguna meningkat. Dalam konteks e-commerce seperti Shopee, peningkatan jumlah pengguna dapat terjadi pada momen tertentu, misalnya saat flash sale, festival belanja bulanan, promo besar, atau event khusus. Pada kondisi tersebut, pengguna tidak hanya melakukan transaksi, tetapi juga mengajukan pertanyaan tentang pesanan, pembayaran, pengiriman, voucher, pengembalian barang, dan keluhan transaksi. Apabila seluruh permintaan tersebut masuk ke satu server chatbot, maka sistem dapat mengalami peningkatan response time, antrean pesan yang tidak terkendali, bahkan gangguan layanan. Selain bottleneck, arsitektur awal juga memiliki risiko single point of failure. Artinya, apabila chatbot server mengalami gangguan, maka seluruh layanan chatbot dapat ikut berhenti karena tidak ada server lain yang dapat mengambil alih proses layanan. Kondisi ini dapat berdampak pada reliability dan availability sistem. Padahal, layanan customer service pada e-commerce harus mampu berjalan secara stabil dan tersedia secara terus-menerus agar pengguna tetap memperoleh bantuan secara cepat. Analisis Masalah pada Arsitektur Awal Berdasarkan analisis terhadap arsitektur awal, terdapat beberapa permasalahan yang dapat memengaruhi kinerja chatbot customer service. Masalah utama adalah bottleneck pada chatbot server karena seluruh permintaan pengguna diproses oleh satu server yang sama. Ketika jumlah permintaan meningkat, server harus menangani banyak pesan secara bersamaan sehingga dapat menyebabkan penumpukan proses dan keterlambatan respons. Kondisi ini juga berdampak pada meningkatnya response time, yaitu waktu yang dibutuhkan sistem untuk memberikan jawaban kepada pengguna. Dalam layanan customer service, respons yang lambat dapat menurunkan kualitas pengalaman pengguna, terutama saat terjadi kendala transaksi yang memerlukan penanganan cepat. Selain itu, arsitektur awal memiliki keterbatasan scalability karena peningkatan kapasitas hanya mengandalkan vertical scaling pada satu server, yang kurang fleksibel dan tidak selalu efisien dari sisi biaya. Arsitektur ini juga memiliki fault tolerance yang rendah karena kegagalan pada chatbot server dapat menyebabkan layanan tidak dapat digunakan. Tidak adanya mekanisme message queue membuat seluruh pesan diproses secara sinkron, sehingga ketika backend service atau database mengalami beban tinggi, proses respons chatbot ikut terhambat dan kinerja sistem secara keseluruhan menjadi kurang optimal
[3] . Arsitektur Usulan dengan Load Balancing dan Message Queue Untuk mengatasi kelemahan arsitektur awal, penelitian ini mengusulkan arsitektur sistem terdistribusi yang memanfaatkan load balancing dan message queue. Arsitektur ini terdiri atas beberapa komponen utama, yaitu user, load balancer, chatbot service cluster, message queue, worker service, layanan bisnis, database, dan monitoring service. Komponen-komponen tersebut saling terhubung untuk membentuk sistem chatbot customer service yang lebih skalabel, responsif, dan andal. Gambar 3. Arsitektur Usulan Chatbot Customer Service E-Commerce dengan Load Balancing dan Message Queue Berdasarkan Gambar 3, proses dimulai ketika pengguna mengirimkan pesan melalui aplikasi e-commerce. Permintaan pengguna diterima oleh load balancer dan didistribusikan ke beberapa chatbot server yang tergabung dalam chatbot service cluster. Setiap chatbot server bertugas menerima pesan, memahami intent pengguna, dan menentukan jenis layanan yang diperlukan. Mekanisme ini memungkinkan pembagian beban kerja secara merata serta meningkatkan ketersediaan layanan karena permintaan dapat dialihkan ke server lain apabila terjadi gangguan pada salah satu node
[4] . Permintaan yang memerlukan proses lanjutan kemudian dikirim ke message queue sebagai antrean pesan yang diproses secara asinkron oleh worker service. Selanjutnya, worker service meneruskan permintaan ke layanan bisnis yang sesuai, seperti order service, payment service, atau shipping service, yang kemudian berinteraksi dengan database untuk mengakses maupun menyimpan data. Selain itu, monitoring service digunakan untuk memantau kondisi seluruh komponen sistem secara real-time sehingga potensi gangguan dapat dideteksi lebih awal dan kualitas layanan tetap terjaga
[6] . Perbandingan Arsitektur Awal dan Arsitektur Usulan Perbandingan antara arsitektur awal dan arsitektur usulan dilakukan berdasarkan beberapa indikator teknis, yaitu scalability, response time, reliability, availability, fault tolerance, dan maintainability. Indikator tersebut dipilih karena berkaitan langsung dengan kebutuhan sistem chatbot customer service pada e-commerce berskala besar. Tabel I. Perbandingan Arsitektur Awal dan Arsitektur Usulan Berdasarkan Tabel I, arsitektur usulan memiliki keunggulan dibandingkan arsitektur awal. Pada aspek scalability, arsitektur usulan memungkinkan penambahan chatbot server sesuai kebutuhan trafik. Hal ini berbeda dengan arsitektur awal yang hanya bergantung pada satu server. Pada aspek response time, arsitektur usulan lebih baik karena permintaan pengguna tidak menumpuk pada satu server, melainkan didistribusikan melalui load balancer dan dikelola melalui message queue. Pada aspek reliability dan availability, arsitektur usulan lebih unggul karena tidak bergantung pada satu chatbot server. Jika salah satu node mengalami gangguan, node lain masih dapat melayani permintaan pengguna. Hal ini membuat sistem tetap berjalan meskipun terdapat komponen yang bermasalah. Pada aspek fault tolerance, penggunaan chatbot service cluster dan message queue dapat mengurangi risiko kegagalan total layanan. Manfaat Arsitektur Usulan Penerapan load balancing dan message queue pada arsitektur chatbot customer service memberikan beberapa manfaat. Pertama, sistem menjadi lebih skalabel karena kapasitas layanan dapat ditingkatkan dengan menambahkan chatbot server baru ke dalam cluster. Kedua, sistem menjadi lebih responsif karena permintaan pengguna dapat dibagi ke beberapa server sehingga mengurangi penumpukan pada satu titik. Ketiga, message queue membantu mengatur antrean pesan agar proses yang membutuhkan waktu lebih lama tidak langsung membebani backend service dan database. Keempat, arsitektur usulan meningkatkan reliability dan availability sistem. Dengan adanya beberapa chatbot server, layanan tidak langsung berhenti ketika salah satu server mengalami gangguan. Kelima, arsitektur ini mendukung fault tolerance karena kegagalan pada salah satu komponen dapat diminimalkan dampaknya melalui pengalihan trafik dan pemrosesan antrean pesan. Keenam, sistem menjadi lebih mudah dipelihara karena komponen layanan dapat dikelola secara terpisah. Secara keseluruhan, arsitektur usulan dapat menjadi pendekatan konseptual yang relevan untuk meningkatkan kualitas layanan chatbot customer service pada platform e-commerce berskala besar. Arsitektur ini tidak hanya mengurangi risiko bottleneck dan single point of failure, tetapi juga membantu sistem dalam menghadapi lonjakan trafik, khususnya pada momen promosi besar, flash sale, atau event belanja yang meningkatkan jumlah interaksi pengguna. Tantangan dan Keterbatasan Arsitektur Usulan Meskipun arsitektur usulan menawarkan berbagai kelebihan seperti peningkatan skalabilitas, ketersediaan, dan keandalan sebagaimana telah dijelaskan sebelumnya, penerapannya juga memiliki sejumlah kelemahan dan tantangan yang perlu diperhatikan. Dari sisi kelemahan, penambahan komponen seperti load balancer, message queue, dan worker service membuat arsitektur menjadi lebih kompleks dibandingkan model server tunggal, sehingga membutuhkan pemahaman teknis yang lebih matang dalam perancangan, konfigurasi, dan pemeliharaannya. Dari sisi tantangan implementasi, organisasi perlu memastikan konsistensi data antar node chatbot, menentukan strategi load balancing yang tepat, serta mengelola integrasi antara message queue dengan layanan bisnis yang sudah ada. Selain itu, penambahan komponen baru pada arsitektur usulan juga berpotensi memunculkan risiko bottleneck baru, misalnya pada load balancer maupun message queue itu sendiri apabila kapasitasnya tidak disesuaikan dengan volume trafik yang terus meningkat. Oleh karena itu, kedua komponen tersebut tetap perlu dirancang agar scalable dan tidak menjadi titik kegagalan yang baru. Dari sisi biaya, penerapan arsitektur terdistribusi umumnya membutuhkan investasi tambahan, baik untuk infrastruktur server, lisensi maupun operasional message queue, hingga sumber daya manusia yang mengelola sistem, sehingga perlu dipertimbangkan dari sisi efisiensi biaya terhadap manfaat yang diperoleh. Penelitian ini juga masih bersifat konseptual berdasarkan studi literatur sehingga belum dilengkapi dengan validasi empiris, seperti pengujian performa atau simulasi beban, yang diperlukan untuk mengukur secara kuantitatif manfaat arsitektur usulan pada kondisi nyata. Kesimpulan Berdasarkan hasil analisis, arsitektur chatbot customer service yang masih menggunakan server tunggal memiliki beberapa kelemahan, seperti risiko bottleneck, keterlambatan respons saat trafik tinggi, keterbatasan skalabilitas, dan potensi single point of failure. Untuk mengatasi masalah tersebut, penelitian ini mengusulkan arsitektur sistem terdistribusi yang memanfaatkan load balancing dan message queue. Load balancing membantu mendistribusikan permintaan pengguna ke beberapa chatbot server, sedangkan message queue mengelola antrean pesan secara asinkron sehingga proses dapat berjalan lebih teratur dan tidak membebani sistem secara langsung. Hasil pembahasan menunjukkan bahwa kombinasi load balancing dan message queue mampu meningkatkan skalabilitas, keandalan, ketersediaan, dan responsivitas layanan chatbot secara konseptual. Dengan demikian, tujuan penelitian untuk menganalisis penerapan kedua mekanisme tersebut pada chatbot customer service e-commerce telah tercapai. Namun, penelitian ini masih terbatas pada studi literatur dan analisis konseptual, sehingga penelitian selanjutnya dapat difokuskan pada implementasi dan pengujian performa untuk memperoleh hasil yang lebih terukur
[10] . Kontribusi ilmiah dari penelitian ini terletak pada penyusunan kerangka konseptual arsitektur sistem terdistribusi yang secara spesifik menggabungkan load balancing dan message queue untuk konteks chatbot customer service pada platform e-commerce berskala besar, yang belum banyak dibahas secara khusus pada penelitian-penelitian sebelumnya. Kerangka ini dapat menjadi acuan awal bagi peneliti maupun praktisi dalam merancang arsitektur chatbot yang lebih skalabel dan andal. Penelitian ini memiliki keterbatasan karena hanya menggunakan pendekatan studi literatur dan analisis konseptual, tanpa disertai implementasi sistem, pengujian performa, maupun simulasi beban trafik pada kondisi nyata. Dengan demikian, manfaat arsitektur usulan yang disampaikan pada penelitian ini masih bersifat teoretis dan perlu diuji lebih lanjut secara kuantitatif, misalnya melalui pengukuran response time, throughput, dan tingkat ketersediaan sistem pada skenario trafik yang mendekati kondisi operasional sebenarnya. Ucapan Terima Kasih Kami mengucapkan terima kasih kepada Universitas Duta Bangsa Surakarta, khususnya Program Studi Teknik Informatika, Fakultas Ilmu Komputer, atas dukungan, fasilitas, dan bimbingan yang diberikan selama proses penyusunan penelitian ini. Kami juga menyampaikan apresiasi kepada seluruh dosen serta pihak-pihak yang telah memberikan masukan, arahan, dan motivasi sehingga penelitian ini dapat diselesaikan dengan baik. Referensi
[11] D. S. Manap Solihat and D. Sandika, “E-commerce di Industri 4.0,” J. Ilm. Bisnis dan Ekon. Asia, vol. 16, no. 2, pp. 273–281, 2022, doi: 10.32812/jibeka.v16i2.967.
[12] B. Luo, R. Y. K. Lau, C. Li, and Y. W. Si, “A critical review of state-of-the-art chatbot designs and applications,” Wiley Interdiscip. Rev. Data Min. Knowl. Discov., vol. 12, no. 1, pp. 1–26, 2022, doi: 10.1002/widm.1434.
[13] C. (Mitsu) Feng, E. Botha, and L. Pitt, “From HAL to GenAI: Optimizing chatbot impacts with CARE,” Bus. Horiz., vol. 67, no. 5, pp. 537–548, 2024, doi: 10.1016/j.bushor.2024.04.012.
[14] M. Ilham, I. F. Hanif, and F. Adiansyah, “Arsitektur Sistem Terdistribusi Untuk Enterprise: Model Desain Dan Implementasi,” J. Rekayasa Sist. Inf. dan Teknol., vol. 3, no. 1, pp. 60–67, 2025, doi: 10.70248/jrsit.v3i1.2503.
[15] I. Online, “Sarcouncil Journal of Engineering and Computer Sciences Demystifying Distributed Systems : Scalability , Modularity , and Fault Tolerance Explained,” vol. 0, pp. 949–959, 2025.
[16] E. Gures, I. Shayea, M. Ergen, M. H. Azmi, and A. A. El-Saleh, “Machine Learning-Based Load Balancing Algorithms in Future Heterogeneous Networks: A Survey,” IEEE Access, vol. 10, pp. 37689–37717, 2022, doi: 10.1109/ACCESS.2022.3161511.
[17] R. Maharjan, M. S. H. Chy, M. A. Arju, and T. Cerny, “Benchmarking Message Queues,” Telecom, vol. 4, no. 2, pp. 298–312, 2023, doi: 10.3390/telecom4020018.
[18] E. M. Asih, “Analisis pada Shopee sebagai E-Commerce Terpopuler di Indonesia,” J. Ekon. Bisnis Antart., vol. 2, no. 1, pp. 73–79, 2024, doi: 10.70052/jeba.v2i1.299.
[19] R. Andrico, Hetty Rohayani, T. M. Novia, and S. Amandha, “Rancang Bangun Sistem Terdistribusi pada Toko Roti Valentine Tanjung Jabung Barat,” Polyg. J. Ilmu Komput. dan Ilmu Pengetah. Alam, vol. 2, no. 4, pp. 157–165, 2024, doi: 10.62383/polygon.v2i4.197.
[20] V. Z. Erikasari, T. F. Maharani, and Elkin Rilvani, “Literature Review: Blokchain dan Edge Computing dalam Optimalisasi Sistem Terdistribusi Masa Depan,” Sisfotenika, vol. 15, no. 1, pp. 43–54, 2025, doi: 10.30700/sisfotenika.v15i1.531.
[21] F. M. Khaninezhad, S. Mouhebati, and P. Analysis, “An Analytical Model for Enhancing Scalability and Reliability in Computer Networks,” 2025, doi: 10.63053/ijset.101.
[22] B. Kruekaew and W. Kimpan, “Multi-Objective Task Scheduling Optimization for Load Balancing in Cloud Computing Environment Using Hybrid Artificial Bee Colony Algorithm with Reinforcement Learning,” IEEE Access, vol. 10, pp. 17803–17818, 2022, doi: 10.1109/ACCESS.2022.3149955.
[23] M. S. H. Chy, M. A. R. Arju, S. M. Tella, and T. Cerny, “Comparative Evaluation of Java Virtual Machine-Based Message Queue Services: A Study on Kafka, Artemis, Pulsar, and RocketMQ,” Electron., vol. 12, no. 23, 2023, doi: 10.3390/electronics12234792. penulis Penulis 1: Nama Penulis : Osama Habib Candranata Email : 240103199@mhs.udb.ac.id Nomor WA : 085878892787 Penulis 2: Nama Penulis : Lintang Putra Ramadhan Email : 240103220@mhs.udb.ac.id Nomor WA : 0895391272277 Penulis 3: Nama Penulis : Djenar Priya Asoka Email : 240103188@mhs.udb.ac.id Nomor WA : 081779447038 Penulis 4: Nama Penulis : Aminuddin Fadli Email : 240103183@mhs.udb.ac.id Nomor WA : 085602856544
