State-of-art Face Landmark Localization model

2021_08_Aug_Web.jpg
AUG 25, 2021

ปัจจุบันนี้เราดำเนินมาถึงยุคที่เทคโนโลยีก้าวหน้าในระดับที่เราสามารถสร้าง ‘ตา’ ให้กับคอมพิวเตอร์ หรือที่เรียกว่า Computer Vision ได้แล้ว ซึ่งความก้าวหน้านี้นำไปสู่การเกิดเทคโนโลยีต่อยอดที่ก่อให้เกิดประโยชน์มากมาย เช่น เทคโนโลยีด้านการจดจำหรือสแกนใบหน้า (Face Recognition) ที่ใช้ในระบบรักษาความปลอดภัย เทคโนโลยีตรวจจับวัตถุ (Object Detection) ที่ใช้ในการแยกแยะวัตถุ รวมถึงเทคโนโลยีตรวจจับท่าทาง (Human Pose Estimation) ที่สามารถนำไปประยุกต์ใช้กับการวิเคราะห์ทางด้านกีฬา หรือติดตามตัวบุคคลได้

 

ทาง Sertis เอง ได้เล็งเห็นประโยชน์ที่จะต่อยอดได้จากเทคโนโลยีดังกล่าว และได้มีการจัดตั้งทีม Sertis Computer Vision ซึ่งนอกจากจะเป็นผู้พัฒนาอุปกรณ์ตรวจจับใบหน้า Sertis Face Recognition แล้ว ยังได้มีการค้นคว้าและวิจัยด้าน Computer Vision อย่างต่อเนื่อง

 

ในครั้งนี้ ทีมพัฒนาจาก Sertis Computer Vision ซึ่งประกอบด้วย Samuel W. F. Earp, Aubin Samacoits, Sanjana Jain, ภาวิต น้อยนงเยาว์ และศิวะ บุญพรรณมงคล ได้คิดค้นวิธีการระบุตำแหน่งจุดสำคัญบนใบหน้า (Face Landmark Localization) ให้แม่นยำขึ้นโดยการใช้ Heatmap และ Training เทคนิคอื่น ๆ เพื่อพัฒนาโมเดลที่มีประสิทธิภาพขึ้นอีกขั้น 

 

Face Landmark Localization เป็นขั้นตอนที่สำคัญมากของระบบตรวจจับใบหน้า และการสร้างหรือการแปลงโฉมภาพใบหน้า ซึ่งเป็นเทคโนโลยีที่เราเห็นกันอย่างแพร่หลายและสร้างประโยชน์ได้มาก ไม่ว่าจะเป็นการใช้ในการทำงาน รักษาความปลอดภัย หรือการใช้เพื่อความบันเทิง โดยในงานวิจัยครั้งนี้ทีมพัฒนาได้เลือกใช้เทคนิค Heatmap Regression โดยใช้โมเดล MobileNetV2 เป็น Backbone และตามด้วยเลเยอร์ที่ช่วยอัปสเกลอีกหลายเลเยอร์ และมีการประยุกต์ใช้เทคนิคที่หลากหลายเพื่อเพิ่มประสิทธิภาพการทำงานและลดระยะเวลาในการตรวจจับ

 

ในการทดลอง ทีมพัฒนาได้ใช้ Face Landmark พื้นฐานจำนวน 5 จุด ซึ่งได้มาจากโปรแกรมตรวจจับใบหน้าที่เปิดใช้เป็นสาธารณะ โดยนำจุด landmark พื้นฐานดังกล่าวมาหมุนใบหน้าให้ตั้งตรงก่อน แทนการใช้ Bounding Box ทีมพัฒนาได้ทำการสุ่มหมุน ขยับ และปรับขนาดภาพใบหน้าระหว่างการเทรนโมเดล และได้พบว่าโมเดลไวต่อการวิเคราะห์ตำแหน่งของใบหน้ามากกว่าความโน้มเอียงของใบหน้า นอกจากนี้ทีมพัฒนายังสามารถลดความซับซ้อนของขั้นตอนในการอัปสเกลด้วยการผสมระหว่างเลเยอร์แบบ Deconvolution กับเลเยอร์แบบ Pixel Shuffle ซึ่งเป็นวิธีที่ช่วยลดเวลาการประมวลผลได้โดยไม่ลดประสิทธิภาพของการระบุตำแหน่ง รวมถึงได้นำเทคนิค Sub-Pixel Inference มาใช้เพื่อเพิ่มความแม่นยำของ Face Landmark

 

ด้วยเทคนิคเหล่านี้ ทำให้เราสามารถผลิตโมเดล Face Landmark Localization รูปแบบใหม่ที่มีความก้าวหน้าสูงได้สำเร็จ และได้นำโมเดลไปทดสอบร่วมกับโมเดล Face Recognition ที่เปิดเป็นสาธารณะ ซึ่งพบว่าสามารถช่วยเพิ่มความแม่นยำในการจำใบหน้าได้ดี

 

ในการแข่งขัน The 2nd Grand Challenge of 106-Point Facial Landmark Localization โมเดล Face Localization Landmark ได้รับการจัดอันดับไว้เป็นอันดับที่สองในส่วนของการทดสอบกับ Validation Set ซึ่งความสำเร็จนี้ก็เป็นอีกความภาคภูมิใจที่จะผลักดันให้ทีม Sertis ของเรา มุ่งมั่นพัฒนาเทคโนโลยีที่มีประโยชน์ และร่วมผลักดันวงการเทคโนโลยีด้านปัญญาประดิษฐ์ให้ก้าวหน้ายิ่งไปกว่าเดิม

อ่านบทความวิจัยอย่างละเอียดได้ที่: https://arxiv.org/abs/2103.03059

As face landmark localization is a vital module of various computer vision tasks, the Sertis Computer Vision presented a state-of-the-art face landmark localization model that improved performance on the face recognition task. 

 

Now, we are in the industrial revolution era where we are able to develop the ‘eyes’ for computers or what we call Computer Vision. This technological advancement has led to the emergence of further technologies that bring many benefits to humans, such as face recognition technology to be used in security systems, or the use of object detection to define objects and human pose estimation for sports analytics and people tracking. 

 

At Sertis, we have foreseen the benefits that can be extended from such technology to more advanced technology. So we have set up a team of researchers of Sertis Computer Vision who have worked on researching and developing Computer Vision continuously, apart from Sertis Face Recognition system.

 

Sertis AI research team, including Samuel W. F. Earp, Aubin Samacoits, Sanjana Jain, Pavit Noinongyao and Siwa Boonpunmongkol researched and developed a method for face landmark localization using heatmap regression approach, with several different tricks and techniques for a more efficient and accurate model. 

 

Face landmark localization is an important process of the detection and localization of certain key points on the face, which has become a widely used technology that benefits to many industries for several purposes such as for a security system or for entertainment. In this research, Sertis AI research team presents the heatmap regression approach with each model consisting of a MobileNetV2 backbone followed by several upscaling layers, with different tricks to optimize both performance and inference cost. 

 

In this experiment, the team has used five naïve face landmarks from a publicly available face detector to position and align the face instead of using the traditional Bounding Box methods. Moreover, they added random rotation, displacement, and scaling, after face alignment and observed that the model is more sensitive to the face position than orientation. The team showed that it is possible to reduce the upscaling complexity by using a mixture of deconvolution and pixel-shuffle layers without impeding localization performance.They also incorporated a sub-pixel inference module to obtain more accurate landmark positions.

 

With all these tricks and techniques, the team was able to develop a new state-of-the-art face landmark localization model that tested the effect and evaluated the performance on face recognition using a publicly available model and benchmarks.

 

In the 2nd Grand Challenge of 106-Point Facial Landmark Localization competition, Sertis’s face landmark localization model ranked second on the validation set test. This success has marked another achievement for Sertis to push ourselves towards the further development of useful technology and being part of the industry to support artificial intelligence technology advancement in the long run. 

 

Read a full research at https://arxiv.org/abs/2103.03059

Related Posts

Bkkbiz_Aug2021_Diaster_FN.jpg
FN-Bkkbiz-Jul2021-Defi.jpg
2021_07_July_Deep_AI_web.jpg