Perşembe, Mart 15, 2018

Sesim nasıl görünüyor ?


Fırsat buldukça Kaggle daki yarışmalara bakıyoruz. Pek çok alanda verilerle uğraşabilme imkanı veriyor. Geçenlerde Kaggle da Ses tanıma üzerine bir yarışma açıldı.
TensorFlow Speech Recognition Challenge
Binlerce farklı kişi tarafından seslendirilmiş  30 kelimelik 1 saniye uzunluğunda bir veriseti.  65.000 kayıt var. Seçilmiş on kelime
yes, no, up, down, left, right, on, off, stop, go
ve bu kelimelerin dışındaki kelimelere - unknown - bilinmiyor. Veya sessizlik yada konuşma dışı seslere - silence - sessizlik  ilavesi ile  12 sınıflı bir sınıflandırma problemi olarak verilmişti.

Klasik spektrogram dönüşümleri ve arkasına evrişimli sinir ağları ile sınıflandırma işlemleri yapılıyordu bizde öyle yaptık ilk etapta. Yarışma sonunda 0.82579 lik  bir  başarıya ancak ulaşa bildik yarışmanın birincisinin başarısı 0.91060. pekde parlak bir sonuç değil  1315 katılımcının içinde 441. olabilmişiz. Neyse asıl konumuz bu değil.

Hazır elimizde veri varken ses verisini poincare plot  metoduyla bir görüntüye dönüştürsek ve üzerinde (CNN ) Evrişimli Sinir Ağı denesek diye bir çalışma yaptık.  Hatırlarsanız bu konuda benim büyük bir umudum var. Bir çalışmaya başlamıştım ama devam edememişdim.
Poincare Plot Feature Extraction
Ses için öznitelik çıkarma yerine doğrudan ölçeklendirip renkli bir görüntüye çevirmeyi denedik.

Yukarda 'two'  ve 'stop' kelimeleri için üretilmiş resimlerden örnekler görüyorsunuz.
Sonuçlar hiçde iyi çıkmadı malesef. Üzerinde çalışmak gerekiyor elbette. Ama estetik ve fraktalvari grafiklerde çıkmıştı. Kaybolup gitmesindedik ve koda döküp yayınladık.
github.com/birolkuyumcu/sound2image
 sound2img.py ;  ses dosyasını okuyor ve rastgele belli büyüklükteki - kodda 4096 -  parçalarını seçip görüntüye dönüştürüyor ve png formatında kaydediyor. Mesela en üstte gördüğünüz resim  "sesim nasıl görünüyor" sesinin tamamının  resme dönüştürülmüş hali.

play_sound_with_imgs ;  ses dosyasını okuyor. Bir taraftan ses çalınırken diğer taraftan  çalınan kısmıda görüntüye dönüştürüp ekranda gösteriliyor.



mesala yukardakiler Çetin Akdenizin bağlamayla çaldığı Şeyh Şamil ezgisinden.


Birilerinin işine yaraması umuduyla. Her türlü görüş ve önerilerinizi bekleriz.

1 yorum:

Yavuz Kömeçoğlu dedi ki...

Birol hocam, farklı bir bakış açısı getiren değişik bir çalışma olmuş. Elinize sağlık.
İlgili arkadaşlar devamını getirir umarım.