Northeastern Üniversitesi'nde elektrik ve bilgisayar mühendisliği ve bilgisayar bilimleri profesörü olan Kevin Fu liderliğindeki bir ekip, Side Eye adlı bir makine öğrenimi aracı yaratarak görüntüleri olağanüstü derecede okuyabiliyor.
TechXplore'a göre Side Eye'ı hareketsiz bir görüntüye uygulayarak, odadaki konuşmacının cinsiyetini, fotoğrafın nerede çekildiğini ve konuştuğu kelimeleri belirleyebiliyorlar. Bu aracı sessiz videolara da uygulayabiliyorlar.
"Birinin TikTok videosu çektiğini ve sesini kapatıp müzik eklediğini düşünün. Gerçekte ne söylediklerini hiç merak ettiniz mi? İşte bu araç bunu öğrenmenize yarıyor." dedi.
Makine öğrenimi destekli Side Eye nasıl çalışıyor?
Makine öğrenimi destekli Side Eye, neredeyse tüm akıllı telefon kameralarında evrensel olarak kullanılan görüntü sabitleme teknolojisinden yararlanıyor.
Akıllı telefonlarda bulunan kameralar, lensi sıvı içinde tutan yaylara sahip ve bu da fotoğrafların birinin elinin titremesi nedeniyle bulanık veya odak dışı çekilmemesine olanak tanır. Sensörler ve bir elektromıknatıs bir araya gelerek görüntüyü sabitlemek için lensi sarsıntının uygulandığı yönün tersine doğru iter.
Fotoğraf çekilirken biri kamera lensinin yakınında konuştuğunda, yaylarda küçük titreşimler yaratır ve ışığı ince bir şekilde büker. Bu titreşimlerden sonik frekansı çıkarmak neredeyse imkânsız olsa da çoğu kameranın kullandığı rolling shutter fotoğrafçılık yöntemi sayesinde bu işlem oldukça basitleşir.
Side Eye'ın kendisi çok temel bir formda olsa da ve yaygınlaşması ve mükemmelleştirilmesi için çok daha fazla eğitim verisi gerektirse de sistemin daha gelişmiş bir formunun yanlış ellere geçmesi durumunda, birçok kişi için bir siber güvenlik kabusu oluşturabilir.