פיענוח פשעים וזיהוי רמאים: איך הפך הקול שלנו לטביעת האצבע החדשה?

הצליל של קולנו הופך להיות טביעת האצבע החדשה. הטכנולוגיה הופכת מתוחכמת יותר ויותר, והיא מאפשרת להתחקות אחר ניואנסים בקול שאינם נשמעים באוזן האנושית. כך היא יכולה לספק רמזים על מיקומו של הדובר, מצבו הרפואי ואפילו תכונות גופניות. הרמזים האלו מסייעים לגופי אכיפת חוק כדי לשרטט את פניהם של חשודים, בנקאים לוכדים כך מתחזים שמנסים לחקות לקוחות בטלפון, ורופאים נעזרים בהם כדי לקבוע התחלה של דמנציה שכלית או דיכאון.

זה יוצר גם אפשרויות חדשות לטיפול רפואי, ולפעילות של גופים פיננסיים וגופי שיטור, ובו זמנית מעלה שאלות קשות של הפרת פרטיות, כאשר נתונים ביומטריים של לקוחות נאספים בדרכים חדשות.

"אנשים יודעים שקול מכיל אינפורמציה זה מאות שנים", אומרת ריטה סינג, חוקרת קול ולמידת מכונה באוניברסיטת קרנגי מלון, שמקבלת מימון למחקריה מהמשרד לביטחון המולדת בממשל הפדרלי. "זה לא חדש, אבל לא הייתה דרך להפיק את זה. היום זה אפשרי בזכות הבינה המלאכותית".

סינג מודדת עשרות תכונות של איכות קול אנושי, כמו חורקנות או רטט, שקשורות לאופן שבו מופק הקול האנושי מבפנים. היא מאבחנת "נפחי מיקרו" של אוויר שעוזרים ליצור את גלי הצליל שמרכיבים את הקול האנושי. האופן שבו הם מהדהדים בתא מיתרי הקול, עם עוד מאפיינים, מספק רמזים על מבנה הגולגולת של אדם, גובהו, משקלו וכן על הסביבה הפיזית שבה הוא נמצא. כך, בעתיד תוכל המשטרה להסתמך על תכני אודיו במעקב וחקירות, ולא רק על וידאו. כבר היום משתמשות חברות פיננסיות בקול האנושי כדי ללכוד רמאים.

הגנבים עונים על השאלות מהר יותר

Pindrop, חברת אבטחת מידע מאטלנטה, בודקת 1,380 תכונות אודיו שמתחלקות לשלושה חלקים עיקריים: הרעשים ששומעים בקווי טלפון, מאפייני התדר של שיחת טלפון וכמה מהשיחה הולך לאיבוד בהעברת השיחה.

הגורמים הללו מייצרים רמזים על מוצאו האפשרי של המטלפן ואם השיחה הועברה באינטרנט, בטלפון נייד או בטלפון נייח. למשל בשיחות מחו"ל, שיחות ממדינות מתפתחות הן בדרך כלל פחות ברורות משיחות ממדינות מפותחות, גם אם לאוזן האנושית קשה יותר לאתר את ההבדל. בנקים נעזרים בכך כדי לדעת אם המטלפן משוחח מהמקום שבו הוא אומר שהוא נמצא.

יש בנקים שמשווים הקלטות קול למידע ביומטרי והתנהגותי אחר שיש להם על הלקוח כדי למנוע הונאה, מפני שהמתחזים נוהגים במקרים רבים להשיב על שאלות האבטחה על חיי הלקוח מהר יותר מאשר הלקוח האמיתי.

Nuance Communications, חברת תוכנה מברלינגטון שבמסצ'וסטס שלקוחותיה כוללים את הבנקים HSBC ו-Kennebunk ממדינת מיין, בודקת גורמים כמו גובה הצליל, הקצב שלו וניב הדיבור (דיאלקט), כמו גם אוצר המילים, הדקדוק ומבנה המשפט.

תוכנות ניואנסים ביומטריים של קול וזיהוי מיועדות לבדוק את המגדר, הגיל והרקע הלשוני של מטלפנים, ואם קול הוא סינתטי או מוקלט. זה עזר לבנק אחד לקבוע שאדם יחיד היה אחראי לגניבה של עשרות מיליוני דולרים, 18% מסך ההונאות שהבנק ספג בשנה אחת, אמר ברט פראנק, מנהל עסקי האבטחה והביומטריקה של החברה.

נתוני אודיו משיחות שירותי לקוחות משולבים גם עם מידע על איך הלקוחות מנהלים בדרך כלל תקשורת בטלפונים ניידים או יישומים, אמר הווארד אדלסטין, יו"ר חברת הביומטריקה ההתנהגותית Biocatch. החברה הזו יכולה לאבחן את המקצב והלחץ של ההקלדה בסמארטפון. למשל, האופן שבו מחזיקים את הטלפון הנייד רומז על גיל המשתמש, ובכך מסייע לחשוף מתחזים.

בארה"ב מתחילים להילחם בהקלטות

לא כל החברות חושפות בפני הלקוחות שלהן את המידע על נתוני הקול וההתנהגות שלהם שהן אוגרות. חלק מהחברות הפיננסיות מבקשות מהלקוחות להסכים להקלטת הקול שלהם, ואחרות פשוט מודיעות שכל שיחות שירותי הלקוחות מוקלטות מסיבות בטיחות או איכות שירות.

במספר מדינות בארה"ב הועברו חוקי פרטיות ביומטרית, ואחרות מכינות חקיקה כזו. החוק באילינוי מחייב חברה להשיג הסכמה כתובה מפורשת של הלקוחות לאיסוף מידע ביומטרי כמו "הדפסות קול" או סריקות קול. תומכי הפרטיות אומרים שאם מידע שחברה אוספת ללא הסכמת הלקוחות יימכר או ייפרץ, קל יותר יהיה להתחזות ללקוחות ולגנוב מהם כספים.

גם בעולם הרפואה מתחילים להשתמש בניתוח קול, ומדידת שינויים זעירים בקולנו עוזרת לרופאים להבחין בתחילת מחלות כמו פרקינסון, או לקבוע את יעילות טיפולים למחלות כמו דיכאון.

חברת Sonde Health מבוסטון ביקשה מ-4,000 אנשים להוריד אפליקציה ולהשיב על שאלות שמיועדות להפיק מהן מגוון של צלילים. מדוגמיות האודיו הללו, החוקרים זיהו וחילקו לקבוצות תכונות כמו קצב, מלודיה (נעימת דיבור) ואיך בדיוק האדם מבטא מילים. דיבור איטי יותר, למשל, עשוי להצביע על עייפות או צער בנקודת זמן מסוימת, אבל בפרקי זמן ממושכים יותר הוא עשוי להצביע על משהו חמור יותר, אומר ג'ים הרפר, אחד ממייסדי החברה.

חברת Winrterlight Labs מטורונטו מתחקה אחרי מאפייני דיבור כמו תחביר, דקדוק, מורכבות אוצר מילים, גובה צליל וקצב דיבור כדי להתחקות אחרי בריאות נפשית ודמנציה. היא עובדת עם חברת התרופות Janssen כדי לנסות לאבחן אלצהיימר בחולים מבוגרים.