AI ถูกเปรียบเทียบกับไฟฟ้าและเครื่องจักรไอน้ำในแง่ของศักยภาพในการเปลี่ยนแปลงสังคม เทคโนโลยีนี้อาจมีประโยชน์อย่างลึกซึ้ง แต่ก็มีความเสี่ยงสูง เนื่องจากแรงกดดันด้านการแข่งขันและปัจจัยอื่นๆ
ระบบ AI มีความสามารถเพิ่มขึ้นอย่างรวดเร็ว โมเดล AI สามารถสร้างข้อความ รูปภาพ และวิดีโอที่แยกแยะได้ยากจากเนื้อหาที่มนุษย์สร้างขึ้น ในขณะที่ AI มีการใช้งานที่เป็นประโยชน์มากมาย มันยังสามารถใช้เพื่อทำให้เกิดความลำเอียง เพิ่มพลังให้กับอาวุธอิสระ ส่งเสริมข้อมูลที่ผิด และดำเนินการโจมตีทางไซเบอร์ แม้ว่าระบบ AI จะถูกใช้กับการมีส่วนร่วมของมนุษย์ แต่ตัวแทนของ AI ก็สามารถดำเนินการโดยอัตโนมัติเพื่อก่อให้เกิดอันตรายได้มากขึ้น (Chan et al., 2023)
เมื่อ AI ก้าวหน้ามากขึ้น อาจก่อให้เกิดหายนะหรือความเสี่ยงที่มีอยู่ได้ในที่สุด มีหลายวิธีที่ระบบ AI สามารถก่อให้เกิดหรือมีส่วนทำให้เกิดความเสี่ยงขนาดใหญ่ ซึ่งบางส่วนได้ระบุไว้ด้านล่าง
สำหรับการสนทนาเชิงลึกเพิ่มเติมเกี่ยวกับความเสี่ยงขั้นรุนแรง โปรดดูผลงานล่าสุดของเราเรื่อง “Natural Selection Favors AIs Over Humans” หรือ “How Rogue AIs May Arise” ของ Yoshua Bengio
ผู้ประสงค์ร้ายอาจปรับเปลี่ยนจุดประสงค์ของ AI ให้มีความสามารถในการทำลายล้างสูง นำเสนอความเสี่ยงที่มีอยู่ในตัวของมันเอง และเพิ่มความเป็นไปได้ที่จะทำให้เกิดความไม่มั่นคงทางการเมือง ตัวอย่างเช่น วิธีการเรียนรู้การเสริมกำลังเชิงลึกถูกนำไปใช้กับการต่อสู้ทางอากาศ และเครื่องมือการเรียนรู้ด้วยเครื่องค้นหายาสามารถใช้เพื่อสร้างอาวุธเคมีได้
ในช่วงไม่กี่ปีที่ผ่านมา นักวิจัยได้พัฒนาระบบ AI สำหรับการโจมตีทางไซเบอร์โดยอัตโนมัติ (Buchanan et al., 2020, Cary et al., 2020) ผู้นำทางทหารได้หารือเกี่ยวกับการให้ระบบ AI เข้าควบคุมไซโลนิวเคลียร์อย่างเด็ดขาด (Klare 2020) และมหาอำนาจของ โลกปฏิเสธที่จะลงนามในข้อตกลงห้ามอาวุธอิสระ AI ที่ได้รับการฝึกฝนเพื่อพัฒนายาถูกนำมาใช้ใหม่อย่างง่ายดายเพื่อออกแบบอาวุธชีวเคมีที่มีศักยภาพ (Urbina et al., 2022) GPT-4 ซึ่งเป็นโมเดลที่ได้รับการฝึกฝนเกี่ยวกับข้อความทางอินเทอร์เน็ตและการเข้ารหัส สามารถทำการทดลองและสังเคราะห์สารเคมีในห้องปฏิบัติการในโลกแห่งความเป็นจริงได้โดยอัตโนมัติ (Boiko et al., 2023) อุบัติเหตุจากระบบการตอบโต้อัตโนมัติอาจลุกลามอย่างรวดเร็วและก่อให้เกิดสงครามครั้งใหญ่ได้ เมื่อมองไปข้างหน้า เราทราบว่าเนื่องจากประเทศที่มีระบบ AI ที่ชาญฉลาดที่สุดอาจมีความได้เปรียบเชิงกลยุทธ์ จึงอาจเป็นเรื่องยากสำหรับประเทศต่างๆ ที่จะหลีกเลี่ยงการสร้างระบบ AI ที่ติดอาวุธที่ทรงพลังมากขึ้นเรื่อยๆ แม้ว่าประเทศมหาอำนาจทั้งหมดจะรับรองว่าระบบที่พวกเขาสร้างขึ้นนั้นปลอดภัยและตกลงที่จะไม่สร้างเทคโนโลยี AI ที่ทำลายล้าง แต่ผู้ก่อการอันธพาลก็ยังสามารถใช้ AI เพื่อก่อให้เกิดอันตรายได้ การเข้าถึงระบบ AI อันทรงพลังที่ง่ายดายจะเพิ่มความเสี่ยงจากการใช้งานที่เป็นอันตรายฝ่ายเดียว เช่นเดียวกับอาวุธนิวเคลียร์และอาวุธชีวภาพ ตัวแสดงที่ไร้เหตุผลหรือมุ่งร้ายเพียงตัวเดียวก็เพียงพอแล้วที่จะก่อให้เกิดอันตรายในวงกว้าง ไม่เหมือนกับอาวุธรุ่นก่อน ระบบ AI ที่มีความสามารถที่เป็นอันตรายสามารถเพิ่มจำนวนได้อย่างง่ายดายด้วยวิธีการทางดิจิทัล
เมื่อระบบ AI รุกล้ำความฉลาดระดับมนุษย์ ศักยภาพการทำงานของมนุษย์ในด้านต่างๆ จะค่อยๆ ถูกแทนที่ด้วย AI ในการทำงานต่างๆ ให้บรรลุผล แรงงานจะมนุษย์จะหมดค่าลงอย่างรวดเร็ว
แบบจำลองแสดงให้เห็นถึงพฤติกรรมที่แตกต่างออกไปในเชิงคุณภาพอย่างคาดไม่ถึง เมื่อพวกมันมีความสามารถมากขึ้น ความสามารถหรือเป้าหมายที่เกิดขึ้นอย่างกะทันหันอาจเพิ่มความเสี่ยงที่ผู้คนจะสูญเสียการควบคุมระบบ AI ขั้นสูง
ความสามารถและการทำงานแบบใหม่สามารถเกิดขึ้นเองในระบบ AI ในปัจจุบัน (Ganguli et al., Power et al.) แม้ว่าความสามารถเหล่านี้จะไม่ได้รับการคาดหมายจากนักออกแบบระบบก็ตาม หากเราไม่ทราบว่าระบบมีความสามารถอะไรบ้าง ระบบก็จะควบคุมหรือปรับใช้อย่างปลอดภัยได้ยากขึ้น แท้จริงแล้ว ความสามารถแฝงที่ไม่ได้ตั้งใจอาจถูกค้นพบในระหว่างการปรับใช้เท่านั้น หากความสามารถเหล่านี้เป็นอันตราย ผลกระทบอาจเปลี่ยนกลับไม่ได้ วัตถุประสงค์ของระบบใหม่อาจเกิดขึ้นได้เช่นกัน สำหรับระบบปรับตัวที่ซับซ้อน ซึ่งรวมถึงตัวแทน AI จำนวนมาก เป้าหมาย เช่น การรักษาตนเองมักจะปรากฏขึ้น (Hadfield-Menell et al) เป้าหมายยังสามารถเกิดการเปลี่ยนแปลงเชิงคุณภาพผ่านการเกิดขึ้นของเป้าหมายภายในระบบ (Gall, Hendrycks et al) ในอนาคต ตัวแทนอาจแบ่งเป้าหมายระยะยาวที่ยากออกเป็นเป้าหมายย่อยที่เล็กลง อย่างไรก็ตาม การทำลายเป้าหมายอาจทำให้วัตถุประสงค์บิดเบี้ยวได้ เนื่องจากวัตถุประสงค์ที่แท้จริงอาจไม่ใช่ผลรวมของส่วนต่างๆ การบิดเบือนนี้อาจส่งผลให้เกิดการเยื้องศูนย์ (misalignment) ในกรณีที่รุนแรงกว่านั้น เป้าหมายภายในระบบสามารถดำเนินการได้โดยใช้ต้นทุนของเป้าหมายโดยรวม ตัวอย่างเช่น หลายบริษัทตั้งเป้าหมายภายในระบบและมีแผนกที่เชี่ยวชาญเฉพาะด้านที่แตกต่างกันเพื่อติดตามเป้าหมายย่อยที่แตกต่างกันเหล่านี้ อย่างไรก็ตาม บางแผนก เช่น แผนกราชการ สามารถยึดอำนาจและให้บริษัททำตามเป้าหมายที่ต่างไปจากเป้าหมายเดิม แม้ว่าเราจะระบุวัตถุประสงค์ระดับสูงของเราอย่างถูกต้อง ระบบก็ไม่อาจดำเนินการตามวัตถุประสงค์ของเราได้ (Hubinger et al) นี่เป็นอีกวิธีหนึ่งที่ระบบอาจล้มเหลวในการปรับคุณค่าของมนุษย์ให้เหมาะสม
บริษัทและรัฐบาลมีแรงจูงใจทางเศรษฐกิจที่แข็งแกร่งในการสร้างตัวแทนที่สามารถบรรลุเป้าหมายที่ตั้งไว้อย่างกว้างๆ ตัวแทนดังกล่าวมีแรงจูงใจที่เป็นประโยชน์ในการได้รับอำนาจ ซึ่งอาจทำให้พวกเขาควบคุมได้ยากขึ้น (Turner et al., 2021, Carlsmith 2021)
AI ที่มีอำนาจเด็ดขาดอาจกลายเป็นอันตรายอย่างยิ่งหากไม่สอดคล้องกับคุณค่าของมนุษย์ พฤติกรรมแสวงหาอำนาจยังสามารถสร้างแรงจูงใจให้ระบบแสร้งทำเป็นว่าสอดคล้องกัน สมรู้ร่วมคิดกับ AI อื่น ๆ มีอำนาจเหนือผู้ตรวจสอบ และอื่น ๆ ในมุมมองนี้ การประดิษฐ์เครื่องจักรที่มีพลังมากกว่าเรากำลังเล่นกับไฟ การสร้าง AI ที่แสวงหาอำนาจนั้นได้รับแรงจูงใจเช่นกัน เนื่องจากผู้นำทางการเมืองมองเห็นความได้เปรียบเชิงกลยุทธ์ในการมีระบบ AI ที่ชาญฉลาดและทรงพลังที่สุด ตัวอย่างเช่น Vladimir Putin กล่าวว่า "ใครก็ตามที่เป็นผู้นำใน [AI] จะกลายเป็นผู้ปกครองโลก"