What to do when AI makes mistakes?

Sertis_x_Thaipublica.jpg
AUG 21, 2020

“ผิดเป็นครู” เป็นสำนวนไทยที่เตือนให้เราเรียนรู้จากความผิดพลาดที่เกิดขึ้นได้กับทุกการแวดวงการทำงาน แม้แต่ในการทำงานของทีมของผม ที่เกี่ยวกับการวิจัยและพัฒนา AI เอง ก็อาจเกิดความผิดพลาดขึ้นได้เช่นกัน เพื่อควบคุมและลดข้อผิดพลาดเหล่านั้น ทางทีมงานจึงต้องคำนึงถึง การจัดการความเสี่ยงของ AI/ML โมเดล อยู่โดยตลอด 

 

ดังคำกล่าวของ Benjamin Franklin ที่ว่า “If you don’t plan to fail, you fail to plan.” หรือ “ถ้าคุณไม่วางแผนที่จะพลาด คุณพลาดที่จะวางแผน” เทคโนโลยี AI เป็นเทคโนโลยีใหม่ที่คนส่วนใหญ่อาจจะถูกโน้มน้าวจากสื่อให้เชื่อถือมันมากกว่าที่ควรจะเป็น ดังนั้น นักวิจัยและพัฒนา AI ควรบริหารความคาดหวังและให้ความรู้กับลูกค้าและผู้ใช้งาน ถึงข้อจำกัดและสิ่งที่จะเกิดขึ้นหากโมเดลทำงานผิดพลาด

 

ในบทความนี้ผมขอสรุปสาเหตุและบทเรียนที่ได้เรียนรู้จากข้อผิดพลาดในการทำงานของ AI 

โดยทาง MITRE หน่วยงานที่ไม่แสวงหาผลกำไรที่ทำงานกับภาครัฐของสหรัฐอเมริกา ได้รวบรวมไว้ 

ซึ่งมีดังต่อไปนี้

 

6 ข้อผิดพลาดที่สามารถเกิดขึ้นได้กับการทำงานของ AI 

  1. ผิดพลาดเพราะมนุษย์คิดว่า AI มีความสามารถเกินกว่ามนุษย์ หรือทำงานได้สมบูรณ์แบบกว่า เช่นความสามารถในการคาดการณ์ได้อย่างแม่นยำและคิดเองได้ โดยคิดว่า AI ไม่ต้องการมนุษย์ในการควบคุมดูแล

  2. ผิดพลาดเพราะในโลกของความเป็นจริงมีสิ่งแวดล้อมเป็นองค์ประกอบและเป็นตัวแปร ซึ่ง AI จะทำงานที่เฉพาะเจาะจงได้ดี เช่น การจำสิ่งของ การแปลภาษา โดยขึ้นอยู่กับข้อมูลที่นำมาสอนในสถานการณ์นั้น ๆ ถ้าหากสถานการณ์แตกต่างออกไป เช่น ภาพไม่ชัด แสงน้อย มีประโยคแปลก ๆ ที่โมเดลของเครื่องจับสัญญาณได้ไม่ดี หรือ AI ไม่เคยเห็นข้อมูลลักษณะนี้มาก่อน AI ก็อาจจะทำงานได้ไม่ดี และไม่มีระบบความปลอดภัยที่ดีพอ ซึ่งอาจทำให้ถูกโจมตีทางไซเบอร์ (cybersecurity attack) นำไปสู่การทำงานที่ผิดพลาดได้

  3. ผิดพลาดเพราะการที่ AI ถูกสอนด้วยข้อมูลที่เฉพาะเจาะจง ไม่ครอบคลุมจากหลาย ๆ บริบท อาจทำให้ระบบไม่เข้าใจบริบททั้งหมด เช่น การที่ AI Facial Recognition ถูกสอนให้จดจำใบหน้าด้วยข้อมูลใบหน้าของคนที่มีผิวขาวเป็นจำนวนมาก อาจทำให้การจดจำใบหน้าของคนผิวดำไม่ดีพอเมื่อเทียบกับข้อมูลของคนผิวขาว ยิ่งไปกว่านั้น คือ ในยุคของการแข่งขันเพื่อแสดงศักยภาพด้าน AI ของประเทศอาจนำไปสู่การแข่งขันเร่งผลิตพัฒนาระบบ AI ที่ไม่ได้รับการตรวจสอบคุณภาพอย่างถี่ถ้วน 

  4. ผิดพลาดเพราะเข้าใจผิดว่าการพัฒนา AI สำเร็จแล้ว ก็ถือว่าเสร็จสิ้น แต่การพัฒนา AI ไม่มีวันสิ้นสุด แม้ว่าเราจะเราจะพัฒนา AI กับงานบางอย่างได้สำเร็จ แต่ก็ยังคงต้องพัฒนาต่อไป เพื่อให้มีความปลอดภัยที่สูงขึ้น และถูกออกแบบเพื่อใช้ในบริบทต่าง ๆ กันอย่างเหมาะสม

  5. ผิดพลาดเพราะวางใจในเทคโนโลยีมากเกินไป มนุษย์มีแนวโน้มที่จะเชื่อและชื่นชมเทคโนโลยีที่ตัวเองไม่คุ้นเคยมากกว่าที่ควรจะเป็น (Cognitive Bias)

  6. ผิดพลาดเพราะไม่มีระบบสนับสนุนที่ครอบคลุม มีหลายสิ่งที่ยังต้องใช้ในการสนับสนุนให้เกิดระบบ AI ที่ปลอดภัย นอกจากข้อมูล อัลกอริทึมต้องมีมุมมองอื่น ๆ เช่นการจัดการ กฎระเบียบ ผลกระทบทางสังคม สิ่งต่าง ๆ เหล่านี้เป็นเหมือนระบบนิเวศที่จะช่วยให้การพัฒนาระบบ AI มีความครอบคลุมในหลากหลายมิติ และช่วยลดความเสื่ยงต่าง ๆ ที่อาจส่งผลกระทบต่อสังคมในอนาคต ในความเป็นจริงเราคงไม่สามารถหาข้อมูลมาสอน AI ได้อย่างครบถ้วน เพราะฉะนั้นการจัดการความเสี่ยงเรื่องผลกระทบของการนำ AI ไปใช้งานจึงเป็นเรื่องที่สำคัญมาก

 

บทเรียนจากความคิดของคนเกี่ยวกับ AI

  1. Multidisciplinary: การพัฒนา AI เป็นปัญหาที่ต้องใช้ศาสตร์จากหลากหลายแขนง ที่ต้องคิดให้รอบด้าน ทั้งด้านเทคนิคและด้านพฤติกรรมของมนุษย์

  2. Multistakeholder: การนำ AI ไปใช้มีผลกระทบนอกเหนือจากผู้ใช้งานเท่านั้น จึงจำเป็นต้องเก็บข้อมูลผู้ที่จะได้รับผลกระทบ เพื่อพัฒนาและออกแบบให้เหมาะสม และเกิดผลกระทบที่ไม่คาดคิดน้อยที่สุด

  3. Bias: ในโลกนี้ไม่มีอะไรที่ไม่มีอคติ ข้อมูลต่าง ๆ ถูกเก็บโดยมนุษย์ (ซึ่งมีอคติไม่มากก็น้อย) โดยสมมติฐานของมนุษย์มีอิทธิพลต่อการสร้าง AI เพราะฉะนั้นสิ่งเหล่านี้อาจจะมีข้อมูลหลบซ่อนและมีผลต่อการสร้าง AI/ML โมเดล

  4. Documentation: เอกสารในการพัฒนาเป็นเครื่องมือสำคัญที่จะช่วยลดความผิดพลาดของระบบ การบันทึกจุดประสงค์ แนวคิดข้อดี ข้อเสียของการออกแบบ การตัดสินใจ และสมมติฐานของการพัฒนาระบบจะเป็นกระบวนการที่ช่วยในการตรวจสอบได้

  5. Accountability: ภาระความรับผิดชอบต้องขึ้นกับผลกระทบของระบบ AI ยิ่ง AI สร้างผลกระทบวงกว้างและรุนแรงไม่ว่าจะเป็นด้านทรัพย์สิน จิตใจ ร่างกาย ยิ่งต้องมีความรอบคอบรัดกุมในการพัฒนามากขึ้น

 

ในบทความหน้า ผมจะพูดถึงรายละเอียดที่จะลดและหลีกเลี่ยงข้อผิดพลาดที่จะเกิดขึ้นได้จากการทำงานของ AI รอติดตามกันนะครับ

“Experience is a mother of wisdom” is an idiom that encourages people to accept and learn from whatever happens in their life. Experience is the best teacher, especially experience in mistakes. Mistakes can happen in every field of work, even with people who research and develop AI as my team. In order to control and limit those mistakes, we have to seriously take AL/ML model’s risk management into account all the time.

 

AI is an innovative technology that people may be convinced to rely on and trust too much. So, as Benjamin Franklin said, “If you don’t plan to fail, you fail to plan”, AI researchers and developers need to be prepared to fail to create better technologies that meet people’s expectations. However, the users, as well as general people, should also be aware of AI’s limitations and what could happen if AI goes wrong.

 

I would like to conclude the reasons for AI failures and lessons learned from its failures. According to MIRT, non-profit organizations that cooperate with the United States government, there are 6 reasons and 5 lessons learned from AI failures.

 

6 false human mindsets that are reasons of AI failures

 

  1. Humans sometimes perceive that AI has more potential or can do things perfectly compared to the human ability; for example, predict things more accurately, can think or analyse by itself, and doesn’t need human supervision. 

  2. In the real world, there are many environmental elements and variables. AI does best in specific tasks such as remembering objects and translating text by using specific data. Nonetheless, when it comes to the real world that contains different variables in different situations; for example, the images may be too blurry, the light may be too little, or there may be strange sentences that AI can’t process or have never seen before. These environmental variables affect AI’s efficiency. And sometimes, insufficient security systems can also lead to cybersecurity attacks which is one of the main reasons for AI's failures.

  3. The data that is input in AI may be too specific and doesn’t cover different contexts, which leads to AI’s inability to understand the context precisely. For example, when AI Facial Recognition is taught to recognize faces using too much data from lighter skin tones, it may not be able to recognize darker skin tones efficiently. Moreover, this is the era of AI competition between countries, so people may be so hurried to develop AI systems that they forget to establish careful quality control.

  4. Some may make the mistake that when AI development processes are achieved, all of the process is complete. Actually, AI development is an endless task. Developers need to continuously improve their AI to increase security and make it fit more to issues that could potentially come up in the future.

  5. AI mistakes may happen because people depend on and trust technologies too much. Humans incline to trust and be pleased with unfamiliar technologies than they are supposed to be (Cognitive Bias).

  6. Some AI mistakes may happen when AI doesn’t have an extensive support system. There are several elements that are necessary if one wants to build a secure AI system. Apart from data, algorithms need to have other perspectives of instructions, such as management, rules, social effects. These elements are like an ecosystem contributing to AI system development that covers diverse dimensions and has lower future risks that affect society. Because in fact, we are unable to provide thorough data for AI, risk management in terms of AI effects is significantly necessary.

5 Lessons I learned from AI failures.

 

  1. Multidisciplinary: AI development requires multidisciplinary and thorough thinking, both technical and behavioral.

  2. Multistakeholder: AI applications affect more than just the users. As a result, data of the affected is needed to be collected so that AI is developed more appropriately and unexpected effects occur as least as possible. 

  3. Bias: There is nothing in the world that doesn’t have bias. Data is collected by humans who have more or less bias. Humans’ assumption influences AI development, so there may be bias hidden in data that affects AI/ML model development.

  4. Documentations: Documents about AI development is an effective tool to reduce system errors. Recording the purposes, the pros and cons of the design, the past decisions, and the assumptions of system development will help a lot with the inspection when problems happen.

  5. Accountability: The level of accountability depends on the level of AI effects. The more influence AI has, whether property, mental, or physical, the more accountable and careful the development process needs to be. 

 

In the next article, I will dive more into detail about how to reduce and avoid AI mistakes. Stay tuned!

References:
https://ethicsinaction.ieee.org/
https://sites.mitre.org/aifails/

บทความโดย
คุณจรัล งามวิโรจน์เจริญ
Chief Data Scientist & VP of Data Innovation Lab
บริษัท เซอร์ทิส จำกัด

Related Posts

PR_articles-MLhealthcare_Cover.jpg