- Metin, görsel ve zaman aralığı komutlarıyla sesleri hassas bir şekilde ayrıştırabiliyor.
- Videolardaki nesnelere tıklayarak veya "köpek havlaması" gibi yazılı komutlar vererek istenmeyen sesleri silebiliyor.
- Modelin performansı için SAM Audio-Bench adında yeni bir kıyaslama testi oluşturuldu.
- Kullanıcılar bu teknolojiye Segment Anything Playground üzerinden erişebiliyor.
Metin ve görsel komutlarla hassas kontrol imkanı
SAM Audio, ses ayrıştırma işlemlerini gerçekleştirmek için kullanıcılara üç farklı yöntem sunuyor. Kullanıcılar; "şarkı söyleyen ses" veya "köpek havlaması" gibi metin tabanlı komutlar verebiliyor, videodaki ses kaynağına görsel olarak tıklayabiliyor veya sesin bulunduğu zaman aralığını işaretleyebiliyor.
Bu yöntemler sayesinde bir müzik grubunun kaydından sadece gitar sesi izole edilebiliyor veya dış çekimlerdeki trafik gürültüsü kolayca temizlenebiliyor. Meta yetkilileri konuyla ilgili olarak, "SAM Audio, metin, görsel ve zamansal ipuçlarını kullanarak çeşitli gerçek dünya senaryolarında güvenilir bir performans sergiliyor" açıklamasında bulundu.
Şirket ayrıca bu yeni yaklaşımın, kullanıcılara sesin nasıl ayrıştırılacağı konusunda hassas ve sezgisel bir kontrol sağladığını belirtti. Böylece daha önce profesyonel yazılımlarda saatler süren işlemler saniyeler içinde tamamlanabiliyor.
Modelin işitme yeteneği ve teknik altyapısı
Meta, modelin sesleri algılayıp anlayabilmesi için PE-AV (Algı Kodlayıcısı) adı verilen özel bir teknoloji geliştirdi. Bu sistem, modelin "kulakları" gibi çalışarak kullanıcının verdiği komutu analiz ediyor ve ilgili sesi diğerlerinden ayırarak işliyor.
Geliştirilen bu teknoloji, ses dosyasındaki diğer unsurlara zarar vermeden sadece hedeflenen sesi kesip alabiliyor veya silebiliyor. Şirket, bu alandaki inovasyonu teşvik etmek amacıyla SAM Audio-Bench isminde yeni bir performans testi de yayınladı.
İçerik üreticileri ve geliştiriciler için erişilebilirlik
SAM Audio modeli, müzik prodüksiyonundan podcast hazırlamaya, film yapımından bilimsel araştırmalara kadar geniş bir yelpazede kullanım alanı buluyor. Özellikle içerik üreticileri, videolarındaki istenmeyen arka plan seslerini kaldırmak için bu teknolojiden faydalanabiliyor.
Meta, bu yeni yapay zeka modelini Segment Anything Playground platformu üzerinden ücretsiz olarak denemeye açtı. Geliştiriciler ayrıca modelin kaynak kodlarına GitHub üzerinden erişerek kendi uygulamalarına entegre edebiliyor.