अमेज़ॅन चेहरे की पहचान पुलिस मगशॉट्स के साथ 105 अमेरिकी और ब्रिटेन के राजनेताओं से गलत तरीके से मेल खाती है, लेकिन क्या आप सटीकता के दावों पर भरोसा कर सकते हैं?

जुलाई 2018 में, अमेरिकन सिविल लिबर्टीज़ यूनियन ने एक आयोजन किया परीक्षा किसी अपराध के लिए गिरफ्तार किए गए लोगों के मगशॉट के साथ अमेरिकी कांग्रेस सदस्यों की तस्वीरों का मिलान करने के लिए अमेज़ॅन के चेहरा पहचान उपकरण, 'रिकॉग्निशन' का उपयोग करना। ACLU ने 28 झूठे मिलान पाए, जो देश भर में कानून प्रवर्तन एजेंसियों को दी जा रही चेहरे की पहचान तकनीक की कमियों को उजागर करते हैं।

तो, क्या यह कुछ बेहतर हुआ है?

हमारे नवीनतम प्रयोग के अनुसार, ज़्यादा नहीं।

यह जानने की उत्सुकता में कि चेहरे की पहचान में कितनी तेजी से सुधार हो रहा है, कंपेरिटेक ने लगभग दो साल बाद इसी तरह का एक अध्ययन करने का फैसला किया। हमने कुल 1,959 सांसदों में ब्रिटेन के राजनेताओं को भी शामिल किया।

परिणाम

हमने परिणामों को अमेरिका और ब्रिटेन के राजनेताओं के बीच विभाजित किया है। लेकिन इससे पहले कि हम परिणामों पर चर्चा करें, आइए पहले उस आधार की समीक्षा करें जिस पर ये सभी परीक्षण केन्द्रित हैं: आत्मविश्वास की सीमाएँ।

आत्मविश्वास की सीमाएँ

जब अमेज़ॅन की रिकॉग्निशन द्वारा दो छवियों की तुलना की जाती है, तो यह केवल हां या ना में उत्तर नहीं देता है। इसके बजाय, परिणाम प्रतिशत के रूप में दिए गए हैं। प्रतिशत जितना अधिक होगा, मान्यता उतनी ही अधिक होगी कि दोनों छवियां एक ही व्यक्ति की हैं।

ACLU ने रिकॉग्निशन की डिफ़ॉल्ट सेटिंग्स का उपयोग किया, जिसने विश्वास सीमा 80 प्रतिशत निर्धारित की।

अमेज़ॅन ने ACLU के निष्कर्षों को फटकार लगाते हुए कहा कि सीमा बहुत कम थी। अमेज़न के प्रवक्ता जीसीएन को बताया कानून प्रवर्तन प्रयोजनों के लिए इसे कम से कम 95 प्रतिशत निर्धारित किया जाना चाहिए, और a ब्लॉग भेजा अमेज़ॅन वेब सर्विसेज वेबसाइट पर कहा गया है कि यह 99 प्रतिशत होना चाहिए। हालाँकि, ए गिज़मोडो द्वारा रिपोर्ट पाया गया कि उन सीमाओं को निर्धारित करना पुलिस के विवेक पर निर्भर है, और वे हमेशा अमेज़ॅन की सिफारिशों का उपयोग नहीं करते हैं।

आत्मविश्वास की सीमा बढ़ाने से अनिवार्य रूप से कम झूठी सकारात्मकताएं (अलग-अलग लोगों की दो तस्वीरों का गलत मिलान) होती हैं, लेकिन अधिक झूठी नकारात्मकताएं (एक ही व्यक्ति की दो तस्वीरों का मिलान करने में विफलता) भी होती हैं। दुर्भाग्य से, हम इस प्रयोग में उत्तरार्द्ध को माप नहीं सकते। उस पर और बाद में।

हमने टिप्पणी के लिए एसीएलयू और अमेज़ॅन दोनों से संपर्क किया और अगर हमें रिकॉर्ड पर कोई प्रतिक्रिया मिलती है तो हम इस लेख को अपडेट करेंगे।

हम

अमेरिकी डेटा सेट में 430 प्रतिनिधियों और 100 सीनेटरों की तस्वीरें शामिल थीं।

80 प्रतिशत विश्वास सीमा पर,मान्यता का औसत 32 अमेरिकी कांग्रेसियों से गलत मिलान हुआगिरफ्तारी डेटाबेस में मगशॉट्स के लिए। यह दो साल पहले ACLU के प्रयोग से चार अधिक है।

उन मानकों के अनुसार, अमेज़ॅन की चेहरे की पहचान में सुधार नहीं हुआ है और यहां तक ​​कि ACLU ने दो साल पहले जो अनुमान लगाया था, उससे भी खराब प्रदर्शन किया है।

हालाँकि, जब हम कानून प्रवर्तन के लिए अमेज़न द्वारा अनुशंसित सीमा को बढ़ाते हैं,हमें 95 प्रतिशत या उससे अधिक आत्मविश्वास पर कोई गलत मिलान नहीं मिला।ACLU ने 2018 में इस सीमा पर परिणाम नहीं दिए, इसलिए हमारे पास कोई पिछला परिणाम नहीं है जिसकी हम तुलना कर सकें।

यूके

हमारे यूके डेटा सेट में 1,429 राजनेता शामिल हैं: 632 संसद सदस्य और 797 हाउस ऑफ लॉर्ड्स के सदस्य। हमने उनका मिलान अमेरिकी राजनेताओं की ही गिरफ़्तारी की तस्वीरों से किया।

80 प्रतिशत विश्वास सीमा पर, रिकॉग्निशन ने गिरफ्तारी डेटाबेस में औसतन 73 राजनेताओं को मगशॉट्स के रूप में गलत पहचाना।

अमेरिकी राजनेताओं (13 प्रतिशत) की तुलना में यूके के राजनेताओं (5 प्रतिशत) के लिए झूठी सकारात्मकता की दर कम थी, जो यह सुझाव दे सकती है कि यूके के राजनेता अपने अमेरिकी समकक्षों की तुलना में काफी अलग दिखते हैं, कम से कम रिकॉग्निशन के अनुसार।

जब हमने आत्मविश्वास सीमा को 95 प्रतिशत तक बढ़ाया, तो कोई गलत मिलान नहीं हुआ।

नस्लीय पक्षपात

एसीएलयू ने आरोप लगाया कि, 80 प्रतिशत विश्वास सीमा पर, अमेज़ॅन की चेहरा पहचान तकनीक नस्लीय रूप से पक्षपाती थी, जो गोरे लोगों की तुलना में गैर-गोरे लोगों की गलत पहचान करती थी।

हमारे परिणाम इस खोज का समर्थन करते हैं। 90 प्रतिशत या उससे अधिक की विश्वास सीमा पर गलत पहचाने गए 12 राजनेताओं में से छह श्वेत नहीं थे (जैसा कि इस लेख के शीर्ष पर छवि में दिखाया गया है)। इसका मतलब है कि गलत पहचान वाले आधे लोग रंगीन लोग थे, भले ही गैर-गोरे अमेरिकी कांग्रेस का लगभग पांचवां हिस्सा और यूके संसद का दसवां हिस्सा ही बनाते हैं।

क्रियाविधि

हमने 430 अमेरिकी प्रतिनिधियों, 100 अमेरिकी सीनेटरों, यूके संसद के 632 सदस्यों और हाउस ऑफ लॉर्ड्स के 797 सदस्यों की सार्वजनिक रूप से उपलब्ध तस्वीरों का उपयोग किया।

इन्हें अमेज़ॅन रिकॉग्निशन का उपयोग करके जेलबेस.कॉम से बेतरतीब ढंग से चुनी गई 25,000 गिरफ्तारी तस्वीरों के चार सेटों के साथ मिलान किया गया था। प्रयोग प्रत्येक सेट के लिए एक बार दोहराया गया, और परिणाम एक साथ औसत रहे। क्योंकि ACLU ने अपना परीक्षण डेटा प्रकाशित नहीं किया, हम गिरफ्तारी तस्वीरों के ठीक उसी डेटाबेस का उपयोग नहीं कर सके।

कुछ उदाहरणों में, एक ही राजनेता को कई मुगशॉट के मुकाबले एक से अधिक बार गलत पहचाना गया। यह एकल ग़लत सकारात्मक के रूप में गिना जाता है।

यह स्प्रेडशीट इसमें वे सभी राजनेता शामिल हैं जो 70 प्रतिशत या उससे अधिक आत्मविश्वास से मेल खाते हैं, उनकी तस्वीरें, और वह आत्मविश्वास जिस पर रिकॉग्निशन उनसे मेल खाता है।

आपको चेहरा पहचान सटीकता आंकड़ों पर भरोसा क्यों नहीं करना चाहिए?

जब भी कोई कंपनी फेस रिकग्निशन पेडल्स मेट्रिक्स में निवेश करती है तो इस बात पर संदेह करें कि यह कितनी अच्छी तरह काम करती है। आँकड़े अक्सर अपारदर्शी और कभी-कभी बिल्कुल भ्रामक होते हैं।

यहां एक उदाहरण दिया गया है कि चेहरे की पहचान की सटीकता के आंकड़ों को कैसे तोड़ा-मरोड़ा जा सकता है। यूके में, मेट पुलिस बल ने दावा किया कि उसकी चेहरा पहचान तकनीक हर 1,000 मामलों में से केवल एक में गलती करती है। वे गलत मिलानों की संख्या को उन लोगों की कुल संख्या से विभाजित करके इस संख्या तक पहुंचे, जिनके चेहरे स्कैन किए गए थे। यह वास्तविक नकारात्मकताओं को शामिल करके सटीकता रेटिंग को बढ़ाता है - अधिकांश छवियां जो बिल्कुल मेल नहीं खाती थीं।

इसके विपरीत, एसेक्स विश्वविद्यालय के स्वतंत्र शोधकर्ताओं ने पाया कि प्रौद्योगिकी ने ऐसा किया है 81 प्रतिशत की त्रुटि दर जब उन्होंने गलत मिलानों की संख्या को रिपोर्ट किए गए मिलानों की कुल संख्या से विभाजित किया। विश्वविद्यालय की रिपोर्ट इस बात से कहीं अधिक मेल खाती है कि कैसे अधिकांश लोग सटीकता का उचित मूल्यांकन करेंगे, वास्तविक नकारात्मकताओं की उपेक्षा करेंगे और उस दर पर ध्यान केंद्रित करेंगे जिस पर रिपोर्ट किए गए मिलान सही हैं।

बाद में प्रतिवेदन पाया गया कि मेट पुलिस ने लंदन में सहमति के बिना 8,600 लोगों के चेहरों को स्कैन करने के लिए लाइव फेस रिकग्निशन का इस्तेमाल किया। परिणाम एसेक्स विश्वविद्यालय के निष्कर्षों के अनुरूप थे: एक सही मिलान से गिरफ्तारी हुई, और सात गलत सकारात्मक।

झूठी नकारात्मक बातें

इससे भी अधिक शायद ही कभी रिपोर्ट की गई झूठी नकारात्मकता की दर है: एक ही व्यक्ति की दो छवियां जिनका मिलान होना चाहिए था, लेकिन नहीं हुआ। व्यवहार में इस त्रुटि के एक काल्पनिक उदाहरण के रूप में, एक हवाई अड्डे पर चेहरे की पहचान से सुसज्जित कैमरा किसी ऐसे व्यक्ति को देखकर अलर्ट ट्रिगर करने में विफल हो जाएगा जिसे उसे पहचानना चाहिए था। झूठी नकारात्मकता का दूसरा रूप यह पहचानने में असफल होना होगा कि किसी छवि में कोई चेहरा मौजूद है।

झूठी नकारात्मकताओं की दर को मापने के लिए, हमें अपने मगशॉट डेटाबेस को राजनेताओं की कुछ वास्तविक - लेकिन समान नहीं - तस्वीरों से भरना होगा। चूँकि हमारा उद्देश्य ACLU के परीक्षण को फिर से बनाना था, यह हमारे प्रयोग के दायरे से परे था।

वास्तविक दुनिया में उपयोग के मामले

आइए इस पर भी विचार करें कि हम क्या तुलना कर रहे हैं: हेडशॉट के दो सेट। एक में पुलिस के मगशॉट हैं और दूसरे में छेड़छाड़ किए गए चित्र हैं, लेकिन दोनों कैमरे के सामने आंखों के स्तर पर प्रत्येक व्यक्ति के चेहरे का स्पष्ट दृश्य पेश करते हैं।

वास्तविक दुनिया में उपयोग के मामले बहुत भिन्न हैं। उदाहरण के लिए सीसीटीवी निगरानी को लेते हैं। पुलिस किसी चौराहे पर चेहरों को स्कैन करना चाहती है और उनका आपराधिक मगशॉट डेटाबेस से मिलान करना चाहती है। यहां कुछ कारक दिए गए हैं जो वास्तविक दुनिया की सेटिंग में चेहरे की पहचान कितना अच्छा प्रदर्शन करते हैं, इसके गंदे दावे करते हैं:

• कैमरा विषय से कितनी दूर है?
• कैमरा विषय की ओर किस कोण पर है?
• विषय का मुख किस दिशा में है?
• क्या विषय अन्य मनुष्यों, वस्तुओं या मौसम द्वारा अस्पष्ट हो गया है?
• क्या विषय ने मेकअप, टोपी या चश्मा पहना हुआ है, या उसने हाल ही में शेव किया है?
• कैमरा और लेंस कितना अच्छा है? क्या यह साफ़ है?
• विषय कितनी तेजी से घूम रहा है? क्या वे धुंधले हैं?

ये सभी कारक और इससे भी अधिक चेहरे की पहचान की सटीकता और प्रदर्शन को प्रभावित करते हैं। यहां तक ​​कि उपलब्ध सबसे उन्नत चेहरा पहचान सॉफ्टवेयर भी खराब गुणवत्ता या अस्पष्ट छवियों की भरपाई नहीं कर सकता है।

चेहरे की पहचान पर बहुत अधिक विश्वास करने से झूठी गिरफ़्तारी हो सकती है। उदाहरण के लिए, अप्रैल 2019 में, एक छात्र ने कंपनी के बाद Apple पर मुकदमा दायर किया चेहरा पहचानने वाले सॉफ़्टवेयर ने उसे ग़लत तरीके से चोरी से जोड़ा कई एप्पल स्टोर्स पर, जिसके कारण उनकी गिरफ्तारी हुई।

80% से अधिक सीमा का उपयोग करने से निश्चित रूप से परिणामों में सुधार होता है। लेकिन चाहे आप चेहरे की पहचान के पुलिस उपयोग से सहमत हों या नहीं, एक बात निश्चित है: यह मानवीय निरीक्षण के बिना पहचान के लिए उपयोग करने के लिए तैयार नहीं है। अमेज़ॅन ने अपने ब्लॉग पोस्ट में कहा है, “वास्तविक दुनिया में सार्वजनिक सुरक्षा और कानून प्रवर्तन परिदृश्यों में, अमेज़ॅन रिकॉग्निशन का उपयोग लगभग विशेष रूप से क्षेत्र को संकीर्ण करने में मदद करने और मनुष्यों को अपने निर्णय का उपयोग करके विकल्पों की शीघ्रता से समीक्षा करने और विचार करने की अनुमति देने के लिए किया जाता है (और पूरी तरह से स्वायत्त निर्णय लेने के लिए नहीं)। )।”