Deteksi Bahasa Isyarat Real-Time Menggunkan Yolov8 Berbasis Web Untuk Alat Bantu Komunikasi Tunarungu Dan Tunawicara
DOI:
https://doi.org/10.47701/mrb62089Keywords:
YOLOv8, deteksi bahasa isyarat, SIBI, computer vision, deep learning, teknologi asistif, aplikasi webAbstract
Kelompok penyandang tunarungu dan tunawicara di Indonesia mengalami tantangan komunikasi yang serius karena kurangnya pengetahuan masyarakat tentang Sistem Isyarat Bahasa Indonesia (SIBI) dan BISINDO. Penelitian ini membangun aplikasi deteksi gestur bahasa isyarat berbasis peramban web yang mengintegrasikan model YOLOv8 untuk keperluan komunikasi inklusif. Pengembangan sistem memanfaatkan Streamlit sebagai framework, dengan data yang bersumber dari pengambilan visual langsung dan repositori Roboflow. Proses pelatihan model mencakup berbagai teknik pengayaan data guna meningkatkan adaptabilitas model terhadap spektrum kondisi pencahayaan (cerah, normal, cahaya minimal) dan lingkungan visual yang beragam. Temuan menunjukkan pencapaian presisi 98,60%, recall 98,95%, dan mAP@50 99,17%, mendemonstrasikan keandalan deteksi yang tinggi. Sistem mampu beroperasi pada laju 18 frame per detik pada perangkat dengan spesifikasi umum, menjamin interaktivitas real-time yang responsif. Kontribusi penelitian ini menciptakan sarana terjangkau dan mudah diakses untuk memfasilitasi dialog antara komunitas penyandang tunarungu dan tunawicara serta publik luas, mendorong pembangunan ekosistem sosial yang lebih terbuka.
References
S. N. Budiman, S. Lestanti, H. Yuana, dan B. N. Awwalin, "SIBI berbasis machine learning dan computer vision untuk membantu komunikasi tuna rungu dan tuna wicara," Jurnal Teknologi dan Manajemen Informatika, vol. 9, no. 2, pp. 119–128, 2023.
A. Taupiq, M. W. Fajri, dan Dannylee, "Identification of Indonesian sign language system using deep learning in YOLO-based," Media Journal of General Computer Science, vol. 1, no. 2, pp. 40–47, 2024.
F. Farhana, A. R. E. Najaf, dan R. Permatasari, "BISINDO sign language interpreter system using YOLOv8 and CNN," Bit-Tech, vol. 8, no. 1, pp. 598–607, 2025.
A. B. Pangestu, M. R. Muttaqin, dan M. A. Sunandar, "Sistem deteksi bahasa isyarat Indonesia (BISINDO) menggunakan algoritma YOLOv8," JATI, vol. 8, no. 5, 2024.
M. Hasan, B. Paul, N. Islam et al., "Advancing real-time sign language detection using a customized YOLOv8 approach," BMC Artificial Intelligence, 2025.
W. Jia dan C. Li, "SLR-YOLO: An improved YOLOv8 network for real-time sign language recognition," Journal of Intelligent & Fuzzy Systems, 2024.
Y. Andreas, S. Dwijayanti, H. Hikmarika, and B. Suprapto, “Real-time recognition of Indonesian sign language using recurrent neural network,” *Sriwijaya Electrical and Computer Engineering Journal*, vol. 1, no. 1, 2024, doi: 10.62420/selco.v1i1.1.
W. Gunaya, M. Windu, A. Kesiman, P. Hendra, and S., “Indonesian Sign Language (BISINDO) Recognition using Long Short-Term Memory Method,” in *2025 3rd International Conference on Computer System, Information Technology, and Electrical Engineering (COSITE)*, 2025, pp. 256–261, doi: 10.1109/COSITE68330.2025.11414365.
M. Sari and E. Jamzuri, “Hand Sign Recognition of Indonesian Sign Language System SIBI Using Inception V3 Image Embedding and Random Forest,” *Jurnal RESTI (Rekayasa Sistem dan Teknologi Informasi)*, vol. 9, no. 2, 2025, doi: 10.29207/resti.v9i2.6156.
M. Alaftekin, I. Paçal, and K. Cicek, “Real-time sign language recognition based on YOLO algorithm,” *Neural Computing and Applications*, vol. 36, pp. 7609–7624, 2024, doi: 10.1007/s00521-024-09503-6.
T. Li, Y.-F. Yan, and W. Du, “Sign Language Recognition Based on Computer Vision,” in *2022 IEEE International Conference on Artificial Intelligence and Computer Applications (ICAICA)*, 2022, pp. 927–931, doi: 10.1109/ICAICA54878.2022.9844497.
W. Jia and C. Li, “SLR-YOLO: An improved YOLOv8 network for real-time sign language recognition,” *Journal of Intelligent & Fuzzy Systems*, vol. 46, pp. 1663–1680, 2023, doi: 10.3233/JIFS-235132.
B. S. Natarajan, R. E, R. Elakkiya, K. Kotecha, A. Abraham, L. Gabralla, and V. Subramaniyaswamy, “Development of an End-to-End Deep Learning Framework for Sign Language Recognition, Translation, and Video Generation,” *IEEE Access*, vol. 10, pp. 104358–104374, 2022, doi: 10.1109/ACCESS.2022.3210543.
I. Lamaakal, C. Yahyati, Y. Maleh, K. Makkaoui, and I. Ouahbi, “An explainable hybrid CNN–transformer model for sign language recognition on edge devices using adaptive fusion and knowledge distillation,” *Scientific Reports*, vol. 16, 2026, doi: 10.1038/s41598-026-38478-8.
D. R. Kothadiya, C. Bhatt, K. Sapariya, K. Patel, A. Gil-González, and J. Corchado, “DeepSign: Sign Language Detection and Recognition Using Deep Learning,” *Electronics*, vol. 11, no. 11, 2022, doi: 10.3390/electronics11111780.
