Since the global outbreak of the SARS-Cov-2 (COVID-19) virus in the later part of 2019, more than five million deaths have been reported globally, with many more hospitalized and under critical condition. The SARS-Cov-2 is a respiratory virus and spreads by a mixture of large droplets and airborne particles. Thus, many countries introduced non-pharmaceutical interventions such as mask-wearing, hand-washing, and social distancing to curb its transmission.

Mask-wearing in public areas, particularly, was deemed a stringent measure that spurred controversies leading to its varying acceptance levels among many countries initially. As we gradually settle into the new normal, this measure has become more accepted as an effective instrument in decreasing the spread of COVID-19 disease. Most of the studies evaluating the rate of mask-wearing use the presence of mask mandates or online questionnaires or use one-off documentation of mask-wearing data. These studies, however, have their limitations in terms of accuracy and, more importantly, lack monitoring of the changes in the mask-wearing rate in public. Thus, making monitoring the mask-wearing rate within a population a practical tool for determining public health strategies against the virus.

With the current advancement in machine learning (ML) and computer vision, researchers have developed new techniques that have proved helpful in analyzing and detecting faces with and without masks, as validated by many published reports. However, in reality ML models for detecting faces with masks have not been deployed at a large scale to measure the mask-wearing rate in public. Thus, serving as the primary motivation for the Sertis AI research team to develop a face mask detection ML pipeline for public mask-wearing monitoring.

In this peer-reviewed research, the team constructed a two-step face mask detection pipeline consisting of two main modules: 1) face detection and alignment and 2) face mask classification. The modularity of this pipeline allows us to use existing efficient face detectors such as PyramidKey [1] and RetinaFace [2] and easily update or change either of the face detection or the face mask classification modules. For training the face mask classification model, the team investigated different training techniques on the face mask classification model, i.e., label smoothing [3], aligning with eyes key points, and ignoring the upper half face. They showed this pipeline outperforming several state-of-the-art approaches on benchmark datasets, i.e., AIZOO [4] and Moxa 3K [5] datasets which contain images from various scenarios from close-ups to crowded scenes.

The development of this research was a collaboration between the Sertis Co., Ltd. and the Faculty of Medicine, Ramathibodi Hospital, Mahidol University. From the Sertis AI research team, the project was led by our AI researcher Benjaphan Sommana and included other researchers, namely Samuel W. F. Earp, Ukrit Watchareeruetai, and Ankush Ganguly. Additionally, medical practitioners from the Faculty of Medicine, Ramathibodi Hospital, namely Taya Kitiyakara, Suparee Boonmanunt, and Ratchainant Thammasudjarit, provided active supervision during the development of this research which was successfully accepted and presented at the 19th International Joint Conference on Computer Science and Software Engineering (JCSSE 2022).

This research successfully demonstrates that our proposed pipeline is superior than the state-of-the-art approaches for face-mask detection. This success has marked itself as a milestone in Sertis' journey to develop state-of-the-art technology not only to be a part of the AI industrial revolution but also to aid in the improvement of healthcare strategies for the betterment of lives.

Read the full research at : https://arxiv.org/abs/2112.15031

การแพร่ระบาดของเชื้อไวรัส SARS-Cov-2 (COVID-19) ในช่วงปลายปี 2019 ที่ผ่านมาจนถึงปัจจุบัน ได้คร่าชีวิตประชากรโลกไปกว่า 5 ล้านคน และมีผู้ป่วยที่ต้องเข้ารับการรักษาในโรงพยาบาล รวมถึงผู้ป่วยที่มีอาการสาหัสเป็นจำนวนมาก เชื้อไวรัส SARS-Cov-2 นี้เป็นเชื้อไวรัสที่ก่อให้เกิดโรคในระบบทางเดินหายใจ แพร่กระจายได้ผ่านสารคัดหลั่งและละอองขนาดเล็กทางอากาศ หลากหลายประเทศจึงเร่งประกาศมาตรการป้องกันเบื้องต้นที่ไม่อาศัยยาหรือวัคซีน (Non-pharmaceutical interventions) โดยให้ประชาชนทุกคนสวมใส่หน้ากากอนามัย ล้างมือเป็นประจำ และเว้นระยะห่าง (Social distancing) เพื่อยับยั้งการแพร่ระบาดให้ได้มากที่สุด

ในช่วงแรก ๆ นั้น หลากหลายประเทศได้เริ่มกำหนดให้การสวมใส่หน้ากากอนามัยในที่สาธารณะถือเป็นมาตรการที่ต้องปฏิบัติตามอย่างเคร่งครัด ซึ่งในขณะเดียวกันก็ก่อให้เกิดความขัดแย้งเป็นวงกว้าง เนื่องจากประชาชนในแต่ละประเทศมีระดับการยอมรับและปฏิบัติตามที่แตกต่างกันไป ในเวลาต่อมา เมื่อประชากรโลกค่อย ๆ ปรับตัวเข้ากับวิถีชีวิตแบบ New normal ได้มากขึ้น มาตรการการสวมใส่หน้ากากอนามัยก็เริ่มได้รับการยอมรับและถือว่าเป็นเครื่องมือที่ช่วยลดอัตราการแพร่ระบาดของโรค Covid-19 อย่างมีประสิทธิภาพ งานวิจัยจำนวนมากจัดทำขึ้นเพื่อประเมินอัตราการสวมใส่หน้ากากอนามัย โดยประเมินจากข้อบังคับในการสวมใส่หน้ากาก การตอบแบบสอบถามออนไลน์ หรือข้อมูลการสวมใส่หน้ากากที่บันทึกแบบรายครั้ง

อย่างไรก็ตาม งานวิจัยเหล่านี้ยังคงมีข้อจำกัดทางด้านความแม่นยำ และที่สำคัญคือยังไม่สามารถตรวจดูความเปลี่ยนแปลงของอัตราการสวมใส่หน้ากากอนามัยในที่สาธารณะอย่างต่อเนื่องได้ ดังนั้นการสร้างเครื่องมือที่สามารถตรวจจับอัตราการสวมใส่หน้ากากในที่สาธารณะที่ใช้งานได้จริงและให้ผลลัพธ์ที่แม่นยำ จึงจำเป็นมากในการกำหนดมาตรการทางสาธารณสุขเพื่อรับมือกับการแพร่ระบาด

ด้วยความก้าวหน้าของเทคโนโลยี Machine learning และ Computer vision นักวิจัยจึงสามารถคิดค้นและพัฒนาเทคนิคใหม่ในการวิเคราะห์และตรวจจับการสวมใส่หน้ากากอนามัยได้ โดยเป็นเทคนิคที่ได้รับการพิสูจน์แล้วว่ามีประโยชน์และใช้งานได้จริงด้วยรายงานผลลัพธ์จำนวนมากที่ตีพิมพ์ออกสู่สาธารณะ แต่อย่างไรก็ตาม ในความเป็นจริงแล้ว โมเดล Machine learning ที่ใช้ในการตรวจจับการสวมใส่หน้ากากอนามัยบนใบหน้าเหล่านั้นยังไม่ผ่านการใช้งานจริงในระดับที่ใช้กับคนจำนวนมาก (Large-scale) ในที่สาธารณะ ส่วนที่ยังขาดอยู่นี้จึงเป็นแรงกระตุ้นที่ทำให้ทีมวิจัยด้านปัญญาประดิษฐ์ (AI) ของเซอร์ทิสตัดสินใจทดลองพัฒนาโมเดล Machine learning และไปป์ไลน์เพื่อที่ใช้ตรวจจับการสวมใส่หน้ากากอนามัยในที่สาธารณะขึ้นมา

ในงานวิจัยครั้งนี้ ทีมพัฒนาได้ออกแบบไปป์ไลน์ตรวจจับการสวมใส่หน้ากากอนามัยแบบ 2 ขั้นตอน ประกอบไปด้วยโมดูลหลัก 2 โมดูล ได้แก่ 1) การตรวจจับใบหน้า (Face detection) และการจัดภาพใบหน้า (Face alignment) และ 2) การจำแนกข้อมูลการสวมใส่หน้ากากอนามัย (Face mask classification) ด้วยการที่ไปป์ไลน์สามารถแยกออกเป็นแต่ละโมดูลนี้ทำให้ผู้พัฒนาสามารถใช้ระบบตรวจจับใบหน้าที่มีประสิทธิภาพเช่น PyramidKey [1] และ RetinaFace [2] รวมถึงการอัปเดทไปป์ไลน์ที่สามารถอัปเดทแยกแต่ละโมดูลได้อีกด้วย ในกระบวนการพัฒนาได้มีการทดลองใช้เทคนิคในการเทรนโมเดลที่จำแนกข้อมูลการสวมใส่หน้ากากอนามัยหลากหลายวิธี อาทิ เทคนิค Label smoothing [3], เทคนิคการจัดวางภาพให้ตรงกับจุดสำคัญของดวงตา (Aligning with eyes key points), และเทคนิคเทรนโมเดลให้ไม่ต้องตรวจจับส่วนบนของใบหน้า (Ignoring the upper half face) ซึ่งผลลัพธ์ในการทดลองแสดงให้เห็นว่า ไปป์ไลน์นี้ทำงานได้มีประสิทธิภาพมากกว่าวิธีการอื่น ๆ ที่ใช้บนชุดข้อมูลมาตรฐานเช่น AIZOO [4] และ Moxa 3K [5] ที่ต่างก็มีทั้งข้อมูลรูปภาพในหลากหลายสถานการณ์ ตั้งแต่ภาพระยะใกล้จนไปถึงภาพที่มีกลุ่มคนจำนวนมาก

งานวิจัยในครั้งนี้เป็นการร่วมมือกันระหว่างเซอร์ทิสและคณะแพทยศาสตร์โรงพยาบาลรามาธิบดี มหาวิทยาลัยมหิดล โดยทางเซอร์ทิสประกอบไปด้วยทีมนักวิจัยด้านปัญญาประดิษฐ์ (AI) นำโดย เบญจพรรณ สมณะ รวมถึงนักวิจัยท่านอื่น ๆ ได้แก่ Samuel W. F. Earp, อุกฤษฏ์ วัชรีฤทัย, and Ankush Ganguly และทีมแพทย์จากคณะแพทยศาสตร์โรงพยาบาลรามาธิบดี ได้แก่ รศ.นพ.มล. ทยา กิติยากร, ดร. สุภารี บุญมานันท์, และ ดร. รัตน์ชัยนันท์ ธรรมสุจริต เป็นผู้ดูแลและให้คำปรึกษาตลอดกระบวนการวิจัย โดยงานวิจัยนี้ได้รับเลือกให้นำเสนอในการประชุมวิชาการระดับนานาชาติด้านวิทยาการคอมพิวเตอร์และวิศวกรรมซอฟต์แวร์ครั้งที่ 19 (JCSSE 2022)

งานวิจัยนี้แสดงให้เห็นว่าประสิทธิภาพของไปป์ไลน์ที่พัฒนาขึ้นนั้นมีประสิทธิภาพเหนือกว่าวิธีการสมัยใหม่อื่น ๆ ในการตรวจจับการสวมใส่หน้ากากอนามัย ความสำเร็จในครั้งนี้จึงเป็นเสมือนความสำเร็จครั้งใหญ่อีกก้าวของเซอร์ทิสในการพัฒนาเทคโนโลยีล้ำสมัย ที่นอกจากจะเป็นส่วนสำคัญในการปฏิวัติอุตสาหกรรมปัญญาประดิษฐ์แล้ว ยังช่วยยกระดับกลยุทธ์ทางการแพทย์เพื่อคุณภาพชีวิตที่ดีขึ้นของประชากรโลก

อ่านงานวิจัยฉบับเต็มได้ที่: https://arxiv.org/abs/2112.15031

References:

[1] S. W. F. Earp, P. Noinongyao, J. A. Cairns, and A. Ganguly. Face detection with feature pyramids and landmarks. arXiv e-prints, art. arXiv:1912.00596, Dec. 2019.

[2] J. Deng, J. Guo, Z. Yuxiang, J. Yu, I. Kotsia, and S. Zafeiriou. Retinaface: Single-stage dense face lo- calisation in the wild. In arxiv, 2019.

[3] C. Szegedy, V. Vanhoucke, S. Ioffe, J. Shlens, and Z. Wojna. Rethinking the inception architecture for computer vision. CoRR, abs/1512.00567, 2015.

[4] AIZOOTech. Aizootech/facemaskdetection: Detect faces and determine whether people are wearing mask.

[5]B. Roy, S. Nandy, D. Ghosh, D. Dutta, P. Biswas, and T. Das. Moxa: A deep learning based unmanned approach for real-time monitoring of people wearing medical masks. Transactions of the Indian National Academy of Engineering, 5(3):509–518, 2020. doi: 10.1007/s41403-020-00157-z.