Salı, Ekim 10, 2017

Keras ile Duygu Analizi

Bir başka Keras uygulaması ile yine burdayız. Bu uygulamamız, doğal dil işleme ( NLP ) alanında olacak. Metinden duygu analizi  (Sentiment Analysis) üzerine bir çalışma yaptık.

Doğal dil işleme üzerine bir uygulama geliştirmenin ana zorluğu metinin sayılara dönüştürülmesi. Genel olarak kullanılan metodlar.
  • Kelimeler için vektör karşılığı ( WordVect)  hesaplamak ve bu vektörleri bir dizi şekilde vermek.
  • Kelimeleri bir dizi de tutup orda belli büyüklükte vektörlere eğitim esnasında çeviren Embeding katmanını kullanmak 
  • Metinin harf dizisi olarak düşünüp.  Her harfi harf sayısı kadar uzunlukta bir vectörle ifade etmek.
 Metinden duygu analizi çalışmalarında  genellikle verilen metnin olumlu yada olumsuz olduğunun tespiti üzerine çalışılır. Bizim kullandığımız veri seti de Twitlerin olumlu yada olumsuz olması hakkında.

Veri setimiz hakkındaki bilgilere ve verisetinin kendisine burdan ulaşabilirsiniz

thinknook.com/twitter-sentiment-analysis-training-corpus-dataset-2012-09-22/

Veri setimizde toplamda 1578624 adet kayıt var.
Olumlu   :    790184
Olumsuz :    788440
olumlu ve olumsuz nitelikli metinlerin sayılarıda aşğı yukarı eşit.

Biz metinin sayıya çevrilmesi için harf bazlı bir sistem uyguladık. Veri üzerinde herhangi bir filitreleme yapılmadı. Sadece küçük harfe çevrildi. Metinlerde geçen harler çıkarılıp birer sıra no karşılığla bir sözlükte -dict - tutuldu.
{'\t': 0,
 '\n': 1,
 ' ': 2,
 '!': 3,
 '"': 4,
 '#': 5,
 '$': 6,
 '%': 7,
 '&': 8,
 "'": 9,
 '(': 10,
 ')': 11,
 '*': 12,
 '+': 13,
 ',': 14,
 '-': 15,
 '.': 16,
 '/': 17,
 '0': 18,

...
Veri sadece Ağ yapısı olarak LSTM bazlı basit bir sistem kuruldu. LSTM de dizinin tersine sıralamasınıda hesaba katan Bidirectional katmanı ile birlikte kullanıyoruz.

 Layer (type)                 Output Shape              Param # 
===================================
bidirectional_1 (Bidirection (None, 150, 278)          310248  
_________________________________________________
bidirectional_2 (Bidirection (None, 278)               464816  
________________________________________________
dense_1 (Dense)              (None, 2)                 558     
________________________________________________
activation_1 (Activation)    (None, 2)                 0       
====================================

Total params: 775,622
Trainable params: 775,622
Non-trainable params: 0

Veri epey büyük olduğunda eğitim epey uzun sürüyor biz bir kontrol başarısı %85 civarında kesdik.
Çalışmamıza burdan erişebilirsiniz
github.com/birolkuyumcu/ddm_blog_examples/tree/master/sentiment
 Üzerinde çalışılması lazım elbette ama bence bu halide fena değil. Bir örnek verelim
"Got the Macbook Pro seller to send me the serial number of the machine before I paid.
Turns out its just a macbook so not buying it now"
 bu twit için  modelimiz.  0.623167 oranıyla olumsuz diye karar vermiş
aynı twitin başındaki kısmı alıp sorduğumuzda
"Got the Macbook Pro seller to send me the serial number of the machine "

haklı olarak  0.62573 oranıyla olumlu cevap vermiş.

Giriş niteliğinde, harf bazlı, LSTM içerikli bir çözüm. Bir başlangıç noktası olmasını umuyor, görüş ve önerilerinizi bekliyoruz...


Pazar, Ekim 01, 2017

Pooling Terimi hakkında...

Terimlerin dili bizim gibi üreten değilde takip eden topluluklar için  bir mesle olmuştur.  Bilimi , teknolojiyi geliştirenler , terimleride belirlemektedirler. Bizde ise genelliklede terimler olduğu gibi yada küçük değişikliklerle kullanıma giriyor.

Asla böyle bir şey olmamalı anlayışında değilim. Nitekim  teknoloji gibi yabancı tabir yaygın olarak kullanılmaktadır. Sonuçta kelimeler iletişim için kullanılır. Terimin ifade ettiği şeyi bilen insanlar için  kelimenin kendisinin pek bir önemi kalmamaktadır.  Eğer bir terim yeterince yaygınlaşmışsa onun kullanılması gerektiğini düşünüyorum. İlla Türkçeleştireceğim anlayışının çoğu zaman dilde fakirleşmeye sebep olacağını. Hatta asıl fonkisyonu olan iletişimi sekteye uğratacağını düşünüyorum. Mesela ; Teknik kitapların, yaygınlaşmış terimleri bilmeyen birisi tarafından tercüme edilmesiyle anlaşılmaz bir metne dönüştüğünü muhtemelen görmüşsünüzdür.
 
Yaygınlaşmamış bir terimin,  zamanında ve doğru bir şekilde türkçe karşılığının bulunmasının çok önemli olduğunu düşünüyorum.  Terimi ilk defa duyan bir insan o yabancı tabirin ifade ettiği şeyi öğrenir. Kelime sadece o kavramın bir etiketidir.  Türkçe karşılığın önemi burdan geliyor. Düzgün bir karşılık , türkçede ifade ettikkleri sebebiyle konuyu bilmeyen birisinede kavram hakkında bir şeyler anlatır. Bir önek vereyim "bisiklet" kelimesi bisikleti bilmeyen birisi için bir şey ifade etmez. Yabancı dildeki karşılığı bicycle - iki çember -   ile kaffasında hiç bilmeyene bile bir şeyler çağrıştırır.

Yaygınlaşmamış terimlerin türkçeleştirilmesinde yapılan bir hatada da kelime bazlı tercümeye kapılmaktan geliyor. Hatta bu yanlış, bilen insanları anlamsız karşılık yada orjinali arasında bırakıyor. Belkide pekçoğu orjinalini tercih etmek zorunda kalıyor.

Yapılması gereken ne peki derseniz. Benim görüşüm şu şekildedir. Tercüme yapanlar bilir bir kelimenin birden fazla anlamı vardır. Her anlamı bir birini karşılamaz. Doğru tercüme kavramı Türkçeye çevirmekden geçer.

Yapılan hatayı Derin öğrenme litaratüründeki  "Pooling" tabirine bulunan "Havuzlama"  karşılığı ile açıklayayım.

Gerçekte Pooling terimi neyi ifade eder.




Tercüme mantığı ne peki 
pool =  havuz 
pooling  = havuzlama
Önce çıkarımın yanlışlığına bakalım. Pool ne demek

Oksford Sözlüğünden bakıyoruz. link

iki ana anlamı olduğundan bahsediliyor ilk anlamı

1 ) pool  :  A small area of still water, typically one formed naturally.

Biz fiil olarak kullanığımızdan , fiil hali neymiş diye bakalım .

1 ) pool  Verb :  (of liquid) form a pool on the ground or another surface.

yani havuz yapmak anlamına geliyor. Pooling teriminin derin öğrenmedeki anlamını düşünürseniz. Bu anlamın bu kavramla alakasının olmadığını anlayabilirsiniz.

İkinci anlamına gelelim
2)  pool :  A shared supply of vehicles or resources to be drawn on when needed.
fiil hali
2) pool verb - with object  :   of two or more people or organizations) put (money or other assets) into a common fund.
bu anlamı bizim kavrama daha uygun gibi.

oksford sözlüğü direk pooling için ayrı bir anlam vermemiş. Cambridge sözlüğünde şöyle bir karşılık var
pooling : the act of sharing or combining two or more things

bu anlam aslında kavramın ifade ettiği şeyi hissettiriyor. Birden fazla şeylerin bir araya getirilip paylaşılması.

Gelelim  Türkçe tarafına ;

TDK sözlüğünden havuzun manasına bakalım peki
havuz
isim Arapça ḥavż
1. isim Su biriktirme, yüzme, çevreyi güzelleştirme vb. amaçlarla altı ve yanları mermer, beton benzeri şeylerden yapılarak içine su doldurulan, genellikle üstü açık yer
"Ben havuzu seyrederken o giysileriyle içine dalardı." - R. Mağden
2. Kum, asit vb. konulan çukur yer
"Kum havuzu."
3. denizcilik Büyük gemilerin onarılmak için çekildikleri yer
4. Bir amaç güdülerek farklı kaynaklardan gelen paranın ilgililere daha sonra paylaştırılmak üzere toplandığı belirli bir yer

Bu dört anlamdan olsa olsa sonuncusuyla bir nebze zoraki bir bağdaştırma yapabilirbiliriz. Ama bir başka problem daha var "Havuzlama" fiil olarak zaten TDK sözlüğünde mevcut.  Denizcilikte 3. anlamı için kullanılıyor. 
havuzlamak : Gemiyi onarmak için havuza çekmek
Zoraki bağdaştırma ancak kavramı bilen için bir anlam ifade eder. Doğrusu bulunan karşılığın Kavramı bilmeyen için kavram hakkında ip uçları verebilmesidir.

Sonuç olarak ;  havuzlamayı pooling karşılığı olarak kullanmayı doğru bulmuyorum. Ne saçma türkçe karşılıları savunmak nede olduğu gibi bırakmak doğru değil. Benim tercihim ya doğrudan pooling diyorum yada ebat küçültme yada  örneklem tabirini kullanıyorum.

Pazar, Ağustos 27, 2017

Derin Öğrenmede Kütüphane Savaşları 2


 TensorFlow

TensorFlow  kütüphanesi bir Google ürünü. Açık kaynak kodlu ticari kullanıma uygun lisanslı. Geç çıkmasına rağmen, Google'ın iteklemeleriyle - destek kelimesi az gelir diye böyle yazıyorum - epey bir öne çıktı. Derin öğrenmeyi ilk farkeden şirketlerden olması sebebiyle firmalarında bu işle uğraşan epey insan vardı. Bunların hemen hepsi - el mahkum -  tensorflow'a geçti. Theanonun üstünde çalışan popüler kütüphane Keras'ın geliştiricisini işe aldı. Keras theanodan sonra tensorflow üzerinede çalışmaya başladı. Hızını alamadı, Kerası bir alt küme halinede getirdi.
Tensorflow'u bulut da daha bir hızlı çalıştıracak donanım çıkardı tensor processing unit. Bu adımıyla hem NVIDA hemde Amazona tehdit oluşturdu.
İşin ticari yönündeki gelişmeleri öngördü. Yapılacak uygulamaların çoğunun web tabanlı servis olarak sunulacakdır. Bir strateji kurdu,  tensorflow yaygınlaştırılacak. Eğitilmiş modelleri sunan sistemler kurup ordan para kazanmak. Nitekim Algorithmia - open marketplace for algorithms -  google dan yatırım aldı
Sonuç olarak Google 'ın Vakti zamanında Microsoftun yaptığı tekelci hamlelerini andıran davranışlar sergilediğini düşünüyorum. Tensorflow hakkında teknik hiç bir söylemiyorum çünkü Yukarda bahsettiğim davranışları antipatik bulduğumdan hiç kullanmaya niyetlenmedim. Bence Tensorflow popülerliği zorakidir. Piyasadaki diğer kütüphanelerden olan üstünlüğüyle değil google'ın diretmesiyle bu haldedir. Tavsiye etmiyorum

CNTK 

Microsoftun  kütüphanesi ismi  "Microsoft Cognitive Toolkit"  olarak değiştirildi. Microsoft da derin öğrenmeye erken girişen firmalardan. CNTK 'yı denemek için niyetlenip incelediğimde tuhaf bir lisansla karşılaştım.
CNTK-1bit-SGD-License
ve vazgeçtim. Google ile aynı niyetle çalışmalarını sürdürüp ürününü popülerleştirmeye çalışıyor.
Reasons to Switch from TensorFlow to CNTK
 Programcıların gözdesi Kerasa da el  attılar tıpkı google gibi...


Using CNTK with Keras

Yine google gibi donanım işine el attılar TPU ya alternatif FPGA yi de öne sürüyorlar.
Rekabetten Kerasın güçlenmesini sevinsemde doğrudan CNTK yı tavsiye etmiyorum.

MxNet


Önceleri gariban şimdilerde Amazonun  desteklediği  bir kütüphane. 

MXNet - Deep Learning Framework of Choice at AWS

Apache da destekliyor

MxNet sponsored by the Apache Incubator
Eskiden beri windows desteği olan. Hatta  derlenmiş dağıtım sunan çok beğendiğim bir kütüphane. Derin öğrenmeye ilk başladığımda üzerinde denemeler yaptım. İlla python diye ısrarı yok   C++, R, Js,Julia hatta go ile yazabiliyorsunuz. Modaya uyup Kerasın altında çalışmaya adapte edildi.
Yanlız kerasın eski versiyonu üzerinde çalışıyor nedense. Yeni versiyon için desteğinde geleceği söyleniyor. 
MxNet ile devam etmemiş olmam yeterli dökümantasyon ve örneğin olmamasıydı. Yeni desteklerle bu eksikliklerini tamamlıyor gibiler.  Bir gözünüz MxNet te olsun derim ben...

Keras

Popüler üst düzey programcıların gözdesi  python kütüphanesi . Kullanımı çok kolay. Öğrenmesi kolay. Örnek ve destek çok.

Sonuç olarak Kerası kullanıyorum ve tavsiye ediyorum.
Elbettte eksiklilkeri var.
 Keras üst  düzey bir kütüphane, çalışabilmesi için altta başka bir kütüphanenin - backend- çalışıyor olması lazım.  Hali hazırda Theano , Tensorflow, CNTK  kütüphaneleri bu işlevi yerine getiriyor. MxNet 'in de eli kulağından  kerasın eski versiyonu için adapte edildi. yeni verisyonu için çalışmalar yapılıyormuş.  Allta çalışan kütüphanelerin sebep olduğu sıkıntılar

Eğittiğiniz modeller altta çalışan kütüphaneye göre değişiyor. Python dışında çalıştırmak için de genel resmi bir  çözüm yok malesef. (şunlar var ;  kerasify , keras2cpp )
Yeni katman tipleri yazmak gerektiğinde , genellikle kerasın imkanları yerli olmuyor. Altta çalışan kütüphaneyide biliyor ve iyi bir şekilde kullanabiliyor olmanız lazım.
Çok büyük veri setleri için modele hızlı veri besleme için dahili bir çözüm yok malesef.
Multi GPU desteği henüz yok sayılır. ( Mxnet le birlikte gelecek gibi görünüyor  bakınız )

Burda bahsedemediğimiz pek çok irili ufak kütüphanede vardır elbette. Biz hakkında az çok bilgi sahibi olduğumuz nispeten daha yaygın olanlardan bahsettik.

Şirketlerin Konumları

Kütüphanelerin savaşları dedik.  Durumu  savaşa ! çeviren şirketlerin taraf tutarak diğer seçeneklere karşı olmaları. Kütüphaneleri anlatıren bahsettik ama burda şirket şirket bir adaha yazayım. Beleşe tavsiyelerde bulanayım dedim

Google :  

Google bence yanlış yapıyor.  Tekelci bir anlayışla davranmanın kazandığın durumda şirket için iyi olması yapılan şeyin doğru olduğunu  göstermez. Tensorflow'u destekleyebilirsiniz ama diğerlerini ezmeye çalışmak doğru değildir. TPU  üretmek ve piyasaya sokmak isteyebilirsiniz ama diğer kütüphaneler ile kullanılabilecek alt yapıyı sağlamalısınız. Hiç olmadı Kerasa destek olmazız lazım.

Quaradaki "Is Google an evil company?" sorusuna şöyle bir cevap gelmiş
"The only significant difference between a kitten and a tiger is that the tiger is bigger"
Eğer kaplan büyüklüğündeyseniz hareketlerinize daha çok dikkat etmeniz gerekir. Aksi halde sorunun cevabı Yes olur.
  

Microsoft:

Google dan önce kaplan olmuş :) ve "Is Microsoft an evil company" sorusuna Büyük bir Yes cevabı almış ve bunun ceremesini yıllardır çeken bir firmadır. Google a göre daha temkinli davranmayı öğrenmiştir. Linux'a kapılarını açmış ordada iş yapmaya -Azure- başlamıştır.  Ortada bir sürü lisansı uygun kütüphane varken kendi yayınladığı ve yaygınlaşması için uğraştığı kütüphanenin bir kısmına Tuhaf bir bir lisanslama niye ayağına kurşun sıkar anlamış değilim...



NVDIA:

Derin öğrenmenin motor gücünü oluşturan GPU ların üreticisi olarak hemen her kütüphaneye destek veriyor. Verdiği desteklerin kütüphanelere zarar vermemesinide temin etmesi lazım diyorum. Digits altında kullanmak için değiştirdiği caffe sürümünü, ana geliştiricilerle ortaklaşa hazırlasaydı, şimdi caffe deki bu dağınıklık olmazdı muhtemelen.


Amazon:

İşlerinin bir kısmına gözünü dikmiş şirketler var ve Koştura koştura çalışıyorlar. Geç  farkına vardılar. MxNet i destekleme kararı aldılar ama bence yeterli destekde bulunmuyorlar halen.


Facebook:

Çok güzel bir ekip kurdular. Çok güzel çalışmalar da yapıyorlar.  Caffe2 ve Torch 'un arkasında durdular. İkisi içinde daha çok çalışmaları lazım. Torch lua sebebiyle popülerliğini kaybetti. Caffe2 ve PyTorch yeni çıktı sayılır. Yaygınlaşabilmeleri için epey bir emek lazım. 


Intel:

Ne yaptıkları belli değil. Beleş tiyolar verelim. 
Kütüphanelerin  cpu optimize halini çıkarmaları hikayedir. Paralel işlem yapabilen donanımlar geliştirip. Bunlara kütüphanelerin kolayca uğraşacağı ara kütüphanelerini yazmaları zorunludur.  Mesela NVDIA nın cuDNN kütüphanesi gibi .
cuDNN, hemen her derin öğrenme kütüphanesinde gpu için kullanılmaktadır. Intelde kendine bir yol seçmeli (OpenCL bazlı gpu larmı olur mi olur Yoksa FPGA mı olur )  
Sonra ona uygun ara kütüphane çıkarmalı
CL_DNN mi olur artık FPGA_DNN mi
Kütüphanelerin kendi donanımlarına adapte edilmesi için destek vermeli
piyasaya girmelidir. 
Hiç bir şey bilmiyorsa Theanoya ve libgpuarray'a destek verimesi lazım.


Son Söz 

Epey bir dağınık oldu kusura bakmayın.  Pek çoğuda şahsi görüş ağırlıklı oldu, o nazarla bakın. Her türlü eleştiri ve önerinizi bekleriz....

Cumartesi, Ağustos 26, 2017

Derin Öğrenmede Kütüphane Savaşları 1

    Artık derin öğrenme - deeplearning- çok moda bir kavram oldu. Her tarafta hakkında bir şeyler söyleniyor. Hiç aklınıza gelemeyecek konularda uygulamalar görüyorsunuz duyuyorsunuz.

Piyasadaki çoğu derin öğrenme kütüphanesi  -framework- açık kaynak kodlu ve ücretsiz kullanıma uygun lisanslı olarak bulunuyor.  Büyük şirketler, İlk etapta para kazanamasa bile, yaygınlık kazanacak , piyasada hakim konuma sahip framework'un sahibi yada hamisi olmak  istiyorlar.  Bunca popülerlik büyük şirketlerinde iştahını kabartıyor yani. Buda  savaşın daha da şiddetleneceğini gösteriyor.

Benim bakış açıma göre savaşın taraflarından ve kütüphanelerden bahsedeyim dedim.
Savaşın taraflarından olan başlıca şirketler ; Google, Facebook, Microsoft, Amazon, Intel...
kütüphanelerle ilgilir görüşlerimler şirketlerin konumlarından da bahsedeceğiz.

Caffe / Digits / Caffe2

Caffe piyasanın en eski kütüphnelerinden  C++ / Cuda temelli. Çoklu GPU deseteği var. Görüntü tabanlı problemler için oturmuş bir yapıda.  Bence ticari olarak doğrudan uygulamaya girebileceğiniz bir kararlılıkta. Benim için en büyük avantajlarından biride windows desteğinin olması. Intelin CPU optimize versiyonu da var. Caffenin OpenCL versiyonuda var.

Digits, NVDIA nın  daha çok Caffe tabanlı  belkide piyasada bulabileceğiniz yegane sağlam GUI . Kod yazma işleri ile fazla boğuşmaya gerek olmadan  yine görüntü tabanlı projeler için kullanabileceğiniz bir program.
  • Nesne Tanıma  - Object Recognition -
  • Nesne Bulma  - Object Detection -
  • Semantik Bölütleme  - Semantic Segmantation -
gibi problemler için doğrudan çalışmaya başlaya bilirsiniz.  Üstelik ülkemizde NVIDIA Deep Learning Institute (DLI) den sertifika alabileceğiniz eğitimi de var. bakınız 
openzeka.com/egitim/  

Caffenin eksikliklerinden bahsedelim.

1) Caffe malesef merkezi güçlü bir yönetime sahip olamadı. Pek çok değişik insan caffe bazlı pek çok değişik çalışma yaptı. Ama bu çalışmalar bölük pörçük sağda solda duruyor.  Ana kod deposuna vakti zamanında birleştirmeler yapılmadığından şimdi istensede bir araya gelemiyor.  Hatta NVDIA bile kendi caffe versiyonunu oluşturdu. Derin öğrenme çok hızlı gelişen bir alan olduğundan kütüphanenin güncel gelişmelere çok hızlı adapte edilmesini gerektiriyor.

2)  Görüntü dışı uygulamalar için gereken yapılar çok geç kütüphaneye dahil edilde ve halen çokda dökümante edilmedi. RNN yapıları gibi. Bu tür ihtiyaçları olan insanlarda başka kütüphanelere yöneldiler.

Caffe2, Başda Facebook olmak üzere değişik firmalar tarafından piyasaya sürüldü. Caffenin popülerliğinden de faydalanarak  daha çabuk yayılmayı hedefleyen bir proje. Vaadleri oldukça parlak;
mesela mobilde çalışma desteği. Henüz deneme şansını bulamadım ama caffe kullanıcısı olarak beni cezbeden bir yanı var.


Torch / PyTorch

Torch aslın da epey eski bir Yapay Öğrenme (ML) kütüphanesidir. Hatta torch'u temel alan bir bilgisayarlı görü kütüphanesi TorchVison hakkında bir yazı yazmıştık. Torch kütüphanesi zamanla değişti. Lua temelli scriptlerle çalışır hale geldi ve Derin öğrenmenin öncüleri tarafından da yaygınlıkla kullanıldı. C / Cuda temelli yapısı ile pek çok ortamda çalışabiliyor. Facebook 'un desteklediği bir proje. Artık windows desteğide varmış. Şahsi fikrim Lua bana sevimli gelmedi. Gerek Yapay Öğrenme gerekse Derin Öğrenmede ana tercih edilen dil python. Bu yüzden hiç kullanmayı düşünmedim.

PyTorch ; Lua dez avantajının onlarda farkına varmışlarki  PyTorch 'u çıkardılar. Çok övülen bir kütüphane ama yolun başında ve Yarışa epey geç katıldı. Halen Windows desteği yok...


Theano

Piyasanın eskilerinden ve malesef garibanlarından. Python temelli esnek bir yapısı olan bir kütüphane. Gariban çünkü doğrudan destek veren büyük bir firma yok. Windowsda kolaylıkla çalıştırabiliyorsunuz.  GPU desteği konusunda bir çalışması - libgpuarray  - var.  Cuda yada OpenCL de de çalışıyor. Türkçesi şu NVDIA gpunuz olmasada, diğer firmaların ürünleri ile derin öğrenmede  GPU kullanabiliyorsunuz. Doğrudan kullanmadım ama Keras 'ın altında theanoyu tercih ediyorum.

devam edecek...


Çarşamba, Ağustos 09, 2017

Windowsda Python için OpenCv kurulumu

 



Yazımınızın ana konusuna geçmeden bir duyuru ve bir soruyala başlayalım.

Önce duyurumuz.
OpenCv 3.3 yayınlandı ;  En bariz fark DNN kısmının  contribden ana dağıtıma aktarılması olarak görünüyor, Darısı epeydir contribde duran diğer kısımlara diyelim. Yeniliklere bakarsak
  • DNN : zaten var olan bir kısımdı ama ana dağıtıma girdi. Ve elbette gelişti. Örneklere göre Caffe 1 , Torch ve Tensorflow modellerini çalışıtrabiliyor.  Bence çok önemli ve yeni derin öğrenme kütüphaneleri desteğiyle güncel tutulması gereken bir kısım. Sadece eğitilmiş modeli kullanmakda eziyet olabiliyor.  DNN ile bu problem bir nebze olsun çözülüyor.
  •  "a language for image processing and computational photography" diye bahsedilen halide desteği gelmiş. Daha net bir şey görünmüyor ama  siftah yapmışlar :)
  • C++ 11 desteği gelmiş
  • Intel Media SDK ile video okuma yazma işlemlerinde donanım hızlanması sağlanmış 
  • Pek çok özellik eklemsi ve hata ayıklaması yapılmış.
Yeri gelmişken bahsedelim OpenCv ilk olarak Intelin Rusyadaki ArGe labaratuvarlarında ortaya çıktı. Ama Intel doğru bir strateji kuramadı. Pek çok hata yaptı
      OpenCv yi,  sattığı IPP kütüphanesine bir payanda gibi sığ bir düşüncesi vardı. Millet opencv öğrenecek  daha hızlı çalıştırabilmek için IPP satın alacaktı hesapta olmadı.
      Sonra bütün bütün elini ayağını çekdi. Buda ayrı bir hataydı. OpenCv gelişmeye devam etti.
 Intel yaptığı hatadan şimdi opencv nin ana geliştiricisi konumunda olan itseez 'i satın alarak dönmeye çalışıyor. İnşallah yine hatalı stratejilere yönelip opencv nin gelişimini engelleyecek adımlar atmaz...

Sorumuza gelirsek. 
"Pythonun pek çok kütüphane desteği var görüntü işleme için opencv kulllanmasak olmazmı ?"
 Benim şahsi görüşüme göre OLMAZ. OpenCv C++ tabanlı olmasıyla, hız olarak kullanmayı düşündüğünüz diğer kütüphanelerin pek çoğunun önüne geçer. İlaveten  OpenCv görüntü işleme ve bilgisayarlı görü alanındaki büyük çoğunluk  tarafından standart kabul edilen bir kütüphanedir. Bu size kaynak bolluğu olarak hemen gelir. OpenCv  kullanarak geliştireceğiniz bir uygulamayı pek çok değişik dile de taşıyabilirsiniz.

Gelelim ana konumuza.

Pythonda OpenCv  kütüphanesini nasıl kuracaksınız?

İlk seçenek OpenCv yi derlemek. Nispeten zor bir yol. Internette derlemenin uzun uzun anlatıldığı pek çok örnek görebilirsiniz, kitabımızda da var. Python için dikkat etmeniz gereken şey  python un kullandığınız versiyon için olan seçeneklerin dolu olması.  



mesela resimde benim derleme için kullandığım cmake dosyasından

derleme sonrasında cv2.pyd  bir dosya oluşturuluyor. Bu dosyayı pythonu kurduğunuz dizin altında
lib/site-packages 
dizinine atın. Eğer derlemeyi statik  yapmaıysanız,  opencv'in dinamik kütüphanelerininde ulaşılabilir yerde - baknız path tanımı - olması lazım.

İkinci ve daha kolay, derlenmiş hazır dağıtımı kullanmak.

Öncelikle sisteminizde Python 2.7.x 64 kurulu olmalı hatta tavsiyemiz. Anaconda dağıtımını kullanmanız.

Python hazırsa artık opencv ye geçelim.
opencv.org/releases.html
adresinden window için derlenmiş dağıtımı indirin


idirdiğiniz dosyayı çalıştırın dosya aslında sadece sıkıştırılmış dosyayı açıyor. Kendinizce uygun gördüğünüz bir dizine açın.

açtığınız dizinde  'opencv\build\python\2.7\x64' kısmında cv2.pyd dosyasını bulun.
lib/site-packages 
dizinine atın. Bu dağıtım statik olarak derlendiğinden sadece
opencv\build\bin
dizininde bulunan  "opencv_ffmpeg330_64.dll"  kütüphanesine bağlıdır.  Bunuda windows -path tanımlı - bir yere taşımanız gerekiyor. mesela pythonu kurduğunuz dizin.

Evet artık opencv python içinden kullanıma hazır.


deneme yapalım
komut satırından pythonu çalıştırın
import cv2
cv2.__version__
yazın  kurulumunzda bir hata yoksa size yüklü olan opencv nin versiyonunu gösteririr.

 Artık python içinden opencv 'yi kullanmaya başlaya bilirsiniz.  Geçen yazımızda bildirmiştik, kitabımızdaki opencv örneklerinin python versiyonlarını yazıyoruz. Yeni dersler eklendi. Yukardaki adımları yaptıysanız. Python örneklerini githubdan klonlayıp inceleyebilirsiniz



 Yazımızın sonuna geldik. her türlü görüş ve önerilerinizi bekleriz.

Cuma, Haziran 30, 2017

Python ile OpenCv


Malumunuz "OpenCv Görüntü İşleme ve Yapay Öğrenme" adlı bir kitabımız var. Hali hazırda 2. baskısı piyasada.  Bidiğiniz gibi kitabımızda konuları C++ bazlı anlattık.  Derin öğrenme konuları yüzünden Python diline geçdik.  OpenCv de lazım oluyor elbette.

OpenCv yi python ile kullanmak zor değil. Zaten python dili resmi olarak destekleniyor. OpenCv kurulumunda seçenek olarak python eklentisi bulunuyor.

Kitap içindeki örnekleri python ile tekrar yazmaya giriştim. Yeni baskısı olsunda python kısımı eklerim gibi bir durum ufukta görünmüyor malesef. Hali hazırda bir sene önce basılan kitaplardan epey var hala.

Bu durumda ; kitaptaki örnek derslerin python halini github'a attım. Çok karmaşık örnekler değil ama illa açıklama siterseniz kitaba bakmanız gerekebilir.  Hali hazırda ilk 6 ders var.

github.com/birolkuyumcu/opencvbook_python

Fırsat buldukça tamamlamaya çalışacağız bakalım kısmet...

Pazar, Haziran 18, 2017

Baki kalan bu kubbede bir hoş seda imiş





Saff Suresi
8. Onlar ağızlarıyla Allah'ın nûrunu söndürmek istiyorlar. Halbuki kâfirler istemeseler de Allah nûrunu tamamlayacaktır.
9. Müşrikler istemeseler de dinini bütün dinlere üstün kılmak için Peygamberini hidayet ve hak ile gönderen O'dur.
10. Ey iman edenler! Sizi acı bir azaptan kurtaracak ticareti size göstereyim mi?
11. Allah'a ve Resûlüne inanır, mallarınızla ve canlarınızla Allah yolunda cihad edersiniz. Eğer bilirseniz, bu sizin için daha hayırlıdır.
12. İşte bu takdirde O, sizin günahlarınızı bağışlar, sizi zemininden ırmaklar akan cennetlere, Adn cennetlerindeki güzel meskenlere koyar. İşte en büyük kurtuluş budur.
13. Seveceğiniz başka bir şey daha var: Allah'tan yardım ve yakın bir fetih. Müminleri (bunlarla) müjdele.
14. Ey iman edenler! Allah'ın yardımcıları olun. Nitekim Meryem oğlu İsa havârîlere: Allah'a (giden yolda) benim yardımcılarım kimdir? demişti. Havârîler de: Allah (yolunun) yardımcıları biziz, demişlerdi. İsrailoğullarından bir zümre inanmış, bir zümre de inkâr etmişti. Nihayet biz inananları, düşmanlarına karşı destekledik. Böylece üstün geldiler.

 İnna Lillahi ve İnna İleyhi Raci’un

Perşembe, Mayıs 11, 2017

CaffeNetViewer Caffe için görselleştirme uygulaması





Derin öğrenme ile ilgili kütüphaneler için yazılmış işimizi kolaylaştıran pek bir gui yoktur. Mesela Cafffe için  NVDIA nın Digits ürünü dışında herhangi bir uygulamayla karşılaşmadım. Digits ürünüde eğitim için yazılmış bir uygulama ve arka planda caffenin kendilerine has bir versiyonu üzerinde çalışıyor. Kullanıcının işlerinin kolaylaştırılmamasının sebebi ne  derseniz. Halen aktif geliştirme aşamasında olan sistemler. Geliştiriciler yeni özellikler, optimizasyonlar vs konularda oldukça meşguller. Kullanıcılar mecburen kendi başlarının çaresine bakmak zorunda kalıyorlar. Kendileri için bir şeyler geliştirenler olsada pek dışarıya açılmıyor.

Caffe ile olan çalışmalarda bizde mecburen kendi işlerimizi kolaylaştıran pek çok kodlar yazdık. Bu yazımızda benzeri ihtiyaçlar için yazdığımız bir uygulamanın sağını solunu düzeltip yayınlamak istiyoruz. 

Uygulamamızın adı CaffeNetViewer. Caffe Ağ yapısı ve ağın içinde verinin ne şekilde değişimlere uğradığını görebileceğimiz bir uygulama. Kullanımından bahsedelim.


Öncelikle Yüklenmesi gereken dosyaları  seçiyoruz
  •  Model dosyası (*.prototxt) 
  • Ağırlık dosyası (*.caffemodel)
  • Ağı çalıştırmak için kullanacağımız Görüntü dosyası
Sonrasında ağı çalıştırıyoruz.  Data katmanı olan giriş görüntüsünü ekranda gosterir. Ağın katmanları text olarak gösterilirilir. Katman ismi Tipi ve ebatları gösterilir.


Bundan sonra katmanlar arasında gezinti yapıp katman çıkış değerlerini görebilirsiniz


Katmanların çıkışlarını toplu olarak görebileceğiniz gibi katman katmanda görebiliyorsunuz.



Eksik olan kısımlar var. Fırsat bulursak tamamlamaya çalışacağız.

Kullanabilmeniz için yüklemeniz gereken paketler
  • Caffe ve  pyCaffe
  • OpenCv
  • pySide
Koda burdan ulaşabilirsiniz
github.com/birolkuyumcu/caffeNetViewer

Görüş ve önerilerinizi bekleriz

Salı, Nisan 25, 2017

Semantik Bölütleme ve Autoencoder

Başlıktanda anlaşılacağı üzre semantik bölütlemeye devam edeceğiz.

Building_Segmentation from bluekid on Vimeo.




Bölütleme pekçok görsel çözümün temelinde bulunması gereken bir aşama. İnsanoğlunun görmesinin de önemli bir parçası. Görme alanımızın tamamına sürekli dikkat etmeyiz.  sadece yaptığımız iş için gerekli olan kısımı takip ederiz. İnsanoğlu hem konumlandırır hemde tanır.  Semantik bölütleme makinaları bir aşama daha insan algısına yaklaştıırır.

Uygulama alanı çok geniştir. Medikal görüntü işlemeden, otonom araca, sanayide kalite kontrolden, e-ticare, uzaktan algılamaya kadar pek çok alanda kullanılabilir.





Konuyla ilgili çalışmaların linklerini bu adresde listlemişler
handong1587.github.io/deep_learning/2015/10/09/segmentation.html
bir inceleyin uzun web aramalarından sizi kurtaracaktır.

Bizde bir çalışma yapalım istedik ve uygun bir veri seti aradık. Sonunda uydu görüntülerinden bina bölütleme için hazırlanmış şu küçük veri setine ulaştık
 Building Detection Dataset ( web, data , ground truth )

Veriler  IKONOS ve QuickBird uydularından çekilmiş 14 resim ve o resmilerdeki binalar için bölütlemeyi gösteren çıkış resimlerinden oluşuyor.


Veriler  hakkında ki detaylı  bilgileri şurdan alabilirsiniz

Resimler tiff formatında fakat uydunun çektiği görüntü multi-spektral olduğundan (B, G, R, and NIR)  ilave katmanı var. Biz bu çalışmamızda normal görünür katmanları kullanacağız. Bu özel tiff formatını okuyabilmeniz için  şu yazıdan faydalana bilirsiniz.









Öncelikle Uydu fotoğraflarını sadce RGB kanalları ile kaydediyoruz.
Fotoğrafların ebatlarındaki değişiklik ve büyük olmaları Eğiteceğimiz ağa doğrudan vermemizi zorlaştırıyor. Keza 14 resimde veri sayısı olara az. Çözüm olarak her resimden rastgele 256x256 ebatında 100 er örnek alıyoruz.  Aslında doğrusu verileri çoğaltamak olmadı en azından ilaveten resimlere gürültü ekleme döndürme işlemleride uygulamakdi. Biz bu kadarla iktifa ettik

Verilerimizi hazırladığımıza göre ağımıza geçebiliriz. Biz kerası kullandık bu problem için.
Building Autoencoders in Keras
yazısındaki kodlardan faydalandık.

Bahsettiğimiz yazının "Convolutional autoencoder" kısmında ilginç bir problem çözülüyor.

Gürültü eklenmiş görüntüler


temizleniyor.  Giriş olarak  üsttteki resimler veriliyor. İstenen çıkış olarak alttaki resimleri veriyorlar. Ağı gürültülü resimden temizlenmiş resme ulaşacak şekilde eğitiliyor. Ağ yapısıda oldukça basit



Encoder ; Giriş resmini alıp Conv2D ve MaxPooling2D katmanları ile ebatça küçültülüyor.
Decoder ; Encoderdan gelen veriyi Conv2D ve  UpSampling2D katmanları ile ebatça büyütülüyor ve nihayetinde çıkış verisine eşleniyor.

Katman dedik ama yazılışı tuhafınıza gitmiş olabilir aslında Kerasın iki ana  şekilde kodlama imkanı var biri daha önceki bahsettiğimiz kamanlar halindeki diğeride burda görmekte olduğunuz katmanların fonksiyonlar olarak tanımlandığı tarz detaylar için bakınız

Keras functional API
Yazıdaki problemde giriş ebatı ufak ve nispeten daha kolay bir problem biz bu yüzden kendi çalışmamızda ilave katmanlar ekledik
Encoder için  ;  Conv2D ve MaxPooling2D
Decoder için  ; Conv2D ve  UpSampling2D


elbette filtre sayılarınıda artırdık. Problemin zorluğuna göre ağın katman sayısını ve topolojisini değeiştirmek gerekiyor.  Mesela Medikal görüntüler üzerinde çalışan u-net diye adlandırılımış şöyle bir yapı var




bu karmaşık ağ yapısı ve kullanımı için Kaggle 'ın "Ultrasound Nerve Segmentation" yarışması için hazırlanmış  çalışmaya
ultrasound-nerve-segmentation
bakabilirsiniz.

Unutmadan Dice ölçütünden de bahsedelim;

wikipedia da Sørensen–Dice coefficient  diye geçiyor teferruatını merak edenler oraya bakabilir.

 Biz burda olabildiğince sade anlatmaya çalışacağız.

 Ağın eğitimi  dediğimiz şey hatasını görmesiyle ! mümkün. Ağın hesapladığı çıktı ile gerçekte olması gereken çıktı rasındaki fark bize hatayı veriyor ve hata değerimize göre ağın içindeki parametreler düzeltilerek,k hatayı minimize etmeye çalışıyoruz. Eğitim dediğimiz bu.

Bizim problemimizde aslında nokta bazında bir sınıflandırma yapılıyor. Bir noktanın iki ihtimali var. Ya Bir binaya ait yada değil. Ama şöyle bir problem varki elimizdeki verilirin çoğunda  noktalar bir binaya ait değil. Bu yüzden klasik bir hata hesabıyla elde edeceğimiz sonuç bize doğru bir hata değeri vermiyor. Örneklendirelim

Resimlerde Bina olan kısımlar beyaz diğer kısımlar arka plan siyah gösteriliyor.

Ağımız şöyle bir çıktı hesaplamış olsun




Gerçekte olması gerekense şu olsun


klasik bir fark ile hesaplarsa bu iki resim arasındaki tutmayan kısımlar, yani bina yı arka plan yada arka planı bina diye tahmin ettiğimiz yerler


Koca resmin çok az bir kısmı tutmamış :) . Bu şekilde hesaplanan hata değeri oldukça küçük çıkacaktır.  Küçük hata değeride eğitimin yetersiz olmasına sebep olur.

Oysa gerçekte  sadece binaya bina dediğimiz  şekilde bakarsak

  gördüğünüz gibi Binanın olduğu yeri tahmin olarak çok küçük bir kısmı doğru tahmin etmiş ağ.

Bu problemin çözümü için şöyle bir hesaplama yapılıyor.  Bina için  Doğru hesaplanan noktaların sayısının  iki katı alınıyor ve bu sayı hesaplanan ve gerçek çıktı resimlerindeki noktaların toplamına bölünüyor. Hiç tutmadığında 0 . ve tamamen  çakıştığında 1 çıktısı veren bir ölçüte sahip olmuş oluyoruz.

Ölçüt tek başına bir işe yaramıyor bu ölçütten bir hata değeri hesaplayan bir  özel bir loss fonkisyonu yazmamız lazım ki Eğitime bir faydası dokunsun.
Nasıl kodlandığını görmek isterseniz
github.com/jocicmarko/ultrasound-nerve-segmentation/blob/master/train.py
bu dosyadan dice_coef  ve dice_coef_loss fonksiyonlarını inceleyebilirsiniz.  Bizde eğitimizde bu metriği ve loss fonkisyonunu kullandık.

Sonuçda bir kaç günü aşkın eğitim ve ağ düzenleme faaliyetleri sonunda  Yukarda videoda gördüğünüz sonuçlara ulaştık.
Dice ölçütü
Eğitim verisi için 0.9148
Test verisi için 0.7530 
 'e kadar yükseldi.

Her türlü görüş, düzeltme , soru ve önerilerinizi  bekleriz.

Pazartesi, Mart 13, 2017

Semantik Bölütleme ve FCN

Resimde nelerin olduğu dışında,  konumlarınıda öğrenmemizi gerektiren pek çok durum vardır. Mesela otonom araç etrafındaki nesneleri konumları ile tanıya bilmelidir ki çarpışma olmaksızın hareket edebilsin. Resimde konum belirlemenin iki şekli var.
  • Kutu içerisine alma
  • Semantik Bölütleme - Sematic Segmentation -
Biz bu yazımızda semantik bölütleme üzerine bir örnek gösterceğiz.  Resimde semantik bölütleme dediğimizde kast edilen, Resimdeki her pikselin neye ait olduğunu ayırabilmektir.



Yukarda resimde görüldüğü gibi köpeğe, kediye, ve kanepeye ait pikseller ayrıştırılmış. Peki Nasıl yapılıyor ?

Görüntü sınıflandırma için CNN yapsından bahsetmiştik.  ( bakınız )


Yıllardır görüntü bazlı problemler için CNN in eline su dökebilecek bir metod çıkmadı. Ağ yapılarında düzenlemeler, yeniliklerle , kendi kendiyle yarıştı.  Ağın genel yapısı yukarda gördüğünüz gibidir.  Kabaca giriş resmi üzerinde uygulanan konvolüsyon katmanları  ile öznitelik çıkarma, sondaki YSA katmanları ile çıkarılmış özniteliklerden sınıflandırmayı öğrenme işlemi yapılmaktaydı. Semantik bölütleme içinde bu yapıdan faydalanıldı.



Yukarda görüdüğünüz şekilde bir ağ yapısı oluşturuldu. CNN den farklı olarak, baştan sona  konvolüsyon katmanları kullanıldı.  Bu yeni tip Ağ yapısıda Fully Convolutional Networks olarak adlandırıldı. YSA yerine geçen katmanlarla, ağın çıkışı ebatları girişiyle aynı hale getirildi. Ek olarak ayrıştıracağı sınıf sayısı kadar kanala sahip bir matris üretildi. Mesela 5 sınıfa ait bir bölütleme işlemi yaptığımızı varsayalım

HxWx3 ( RGB )   ----->  FCN  ----->   HxWx5

Çıktıyı iki şekilde düşünebiliriz. 

Giriş resminin hep pikseli için sınıflandırma sonuç vektörü. yani HxW tane 5 lik vektör
Her sınıf için piksellerin o sınıfa ait olma ihtimalini gösterer Matrisler

İşin teferruatları ve terorisi için aşağıdaki makaleleri incelemenizi tavsiye ediyoruz
  1. Fully Convolutional Networks for Semantic Segmentation 2015
  2. Fully Convolutional Networks for Semantic Segmentation 2016
Makelelerinde tarihlerinden anlaşılacağı gibi çok yeni konular.  Medikal görüntülerden uydu görüntülerine, IHA görüntülerine, Radar görüntülerine, vs  vs .. kullanılabilecek uygulama alanı çok geniş bir metod.

Makalelerde geçen  FCN-32s, FCN-16s ve FCN-8s  tabirlerinin sizin ne ifade ettiğini



  yukardaki resimle gösterelim. Bölütleme kesinliği sondaki sayı ile ters orantılı. Gerçek bölütleme sonucuna en uygun sonuçlar FCN-8s ile elde ediliyor.


Gelelim bizim uygulamamıza. FCN ağ yapısının caffe kütüphanesi ile uygulanmış olduğu açık kaynak kodlu proje sayası var.

http://fcn.berkeleyvision.org

Bu sayfa sizi bir github sayfasına yönlenidir. Orada  değişik veri setleri ve için değişik ağ yapılara ve modellere ulaşabilirsiniz

Biz örneğimiz için  'fcn8s-heavy-pascal'  model tanım ve  ağırlık dosyalarını indirdik
  • fcn8s-heavy-pascal.prototxt
  • fcn8s-heavy-pascal.caffemodel
Bir ipython dosyası yazdık. Bu model 500x500 ebatında renkli resim alıp 20 sınıf + 1 Arka plan  olmak üzre 21 sınıflı 500x500x21 lik bir matris çıktısı veriyor. bir    Sonuçlar şöyle




Bisiklet sınıfı için  ihtimal  görüntüsü


Bölütleme sonucuda
Bisiklet için


Köpek İçin




gibi görünmektedir. Sonuç olarak bıyık filtrresinin !  :)  çıkardığı aksilik dışında gayet iyi çalışıyor.

Kodun içine elimizden geldiğince açıklama satırlarıda koyduğumuzdan burda ek açıklama yapmaya gerek duymadık.   Kod için bakınız

https://github.com/birolkuyumcu/ddm_blog_examples/tree/master/fcn-caffe

 Yinede anlaşılmayan yerler varsa, yada bu konularda görüş ve önerileriniz varsa iletişime geçebilirsiniz.

Cuma, Mart 03, 2017

Keras'a Giriş - 2 ( LSTM )

Ocak ayında ilk yazısını yayınladığımız  Keras 'a  Giriş  dizisine devam ediyoruz.

İlk yazımızda Kerasın kurulumunu, ve  ana kullanım fonksiyonlarını anlatmıştık.  Hali hazırda Kerasın içinde pek çok değişik katman bulunmaktadır. Katmanlarla ilgili kısımı okuyarak bunlara aşina olabilirsiniz. Katmanları bir birine ekleyerek kendi probleminize göre envai çeşit yapıyı tasarlayabilirsiniz.

Biz bu yazımızda Keras üzerinde  LSTM ile zaman serisi tahmini yapan bir uygulama geliştireceğiz.

LSTM nedir ?

Büyük soru, başta kendim olmak üzere kafamızı çok karıştırmadan mümkün mertebe sade anlatmaya çalışalım.

Açıklamaya RNN yani Recurrent Neural Networks  ile başlamamız gerekiyor. Tarihi çok eskilere giden bir YSA yapısı. Aslında anlaması çok da kolay.



YSA yapımızda verdiğimiz verilerin saklı katmandan ürettiği çıktış sinyalini başa alıp bir sonraki giriş de giriş değerlerinden biri olarak kullanıyoruz.

Bu ne işimize yarıyor diye soracak olursanız pek çok durumda verilerimiz de bir sıralılık bağlantısı vardır. sadece girdiklerimiz değil bir önceki durumda çıkışa etki ediyordur. Bu tip Sıralılık örüntüsü  - Sequence pattern - içeren durumlar için bu tip YSA yapıları daha başarılı bir modelleme imkanı sağlamaktadır.

Peki yıllardır bilinen bu yapı niye populer olamamış ?  Bu sorunun cevabı olarak meşhuuur  Vanishing gradient problem çıkıyor karşımıza. YSA eğitiminde giriş verileriyle çıkış değerleri hesaplanır. Hesaplanmış çıkış değerleri ile gerçek değerler karşılaştırılır ve farklılık bize bir  meyil  - gradient - Bu meyile göre geriye doğru ağ ağırlık değerlerinde güncelleme yapılır. Ağımız çok karmaşıksa geriye doğru meyil değerleri sıfırlanır. Meyil olmazsada güncelleme olmaz ve eğitilmeside durmuş olur. RNN yapısında da zaman içinde geriye doğru bağlılık var. Ağımızı eğitim açısında çok karmaşık hale getiriryor.


Bu problemin çözümü için LSTM - Long short-term memory - denen bir yapı kurulmuş.


Yukardaki akıllara ziyan  şemadan da anlaşılacağı üzere çok kompleks bir sistem. Yapıda kabaca RNN hücresine birde hafıza eşlik ediyor. Bu hafıza ile bir önceki zamandan gelen bilgi alınabiliyor , bir sonrakine iletilebiliyor. Neyi alıp neyi almayacağına eğitim ile karar veriyor. Konunun teferruatları için, Ve illede iç yüzünü öğreneceğim diyenler için bir kaç link verip geçiyorum

1)  Deep Learning Lecture 12: Recurrent Neural Nets and LSTMs
2) Understanding LSTM Networks
3) The Unreasonable Effectiveness of Recurrent Neural Networks

Keras da RNN katmanlar 

Hali hazırda Keras kütüphanesinde 3 çeşit  RNN katmanı var.
  1. SimpleRNN
  2. LSTM
  3. GRU
ilki zaten adından anlaşılıyor. LSTM den yukarda bahsettik . sonuncusu GRU - Gated Recurrent Unit - daha LSTM benzeri yeni bir sistem

Biz LSTM i kullanacağız. ondan bahsedelim

LSTM ler  genel anlamda sequence zaman sıralı şekilde gelen veriler üzerinden çalışırlar.

keras.layers.recurrent.LSTM(output_dim,
                                              batch_input_shape=(nb_samples, timesteps, input_dim),
                                              return_sequences=False,....)
eğer LSTM ilk katmansa batch_input_shape  verilmesi gerekiyor ve dökümanda geçen şekli
  
  • nb_samples : veri sayımız, None diyede  verebiliyoruz. 
  • timesteps :  LSTM e vereceğimiz veriler zaman bazında değişen aynı türdeki veriler  kaç birim zamanlık veri verilecek burda onu belirtmemiz gerekiyror 
  • input_dim :  giriş verimizin boyutu. 
  • return_sequences Kendinden sonraki katman Yine Bir LSTM olacaksa True  yapılacak
  • output_dimKatman çıkış boyutu ve LSTM birim sayısı.  Ağın çıkışı , eğer kendinden sonraki katman Yine Bir LSTM olacaksa  (nb_samples, timesteps, output_dim)  , olmayacaksa  (nb_samples, , output_dim) olur.
Şimdi biraz burda durup, input_dim giriş veri boyutuna biraz açıklık getirelim.  Sequence üzerinden çalışan bir sistem. Bizim bugün anlatacağımız önnekdeki gibi tek bir sayısal değerin değişimi var ise  giriş veri boyutu bir dir. Fakat pek ala zaman içinde değişien bir vektör de modellenebilir. budurumda vektörün uzunluğu giriş boyutumuz olur. Mesela bir metin üzerinde çalıştığımızı varsayın. biri birini takip eden harfler de bir sequence olur. Harfi bir vektöre çevirmek gerekir. vektör uzunluğuda metindeki alfabe büyüklüğü olur.

Olmaz ama soran olursa diye buraya yazayım peşin peşin, pek çok değişik kaynakda pek çok değişik notasyon var. Kullanımında benim tercihim bu şekilde oldu.

Uygulama

Keras da LSTM uygulamamız için bir zaman serisi verisi seçtik.

Daily maximum temperatures in Melbourne, Australia, 1981-1990

Avusturalya Melbornda 10 yıllık bir sürede ( 1981-1990 )  günlük olarak ölçülmüş en yüksek sıcaklıkları gösteriyor.

Yukardaki grafikden de anlaşılacağı üzre oldukça gürültülü bir sin fonksiyonu 

Bizde son 5 günün en sıcaklık değerlerini kullanarak yarınki en yüksek sıcaklık değerini hesaplattırmaya çalışacağız. uygulamızda

önce verimizi pandas ile  yüklüyoruz



tarih ve en yükseklik sıcaklığı tutan iki sutun var tarih bize lazım değil sadece en yüksek sıcaklık değerleriniz çekiyoruz.

YSA eğitimlerinde verileri ölçeklendirmek genellikle faydalı olur. bizde  ( 0 , 1 ) arası bir ölçeklendirme işlemi uyguluyoruz.

Bu veri üzerinde kayan pencere metoduyla ağımızı eğitmek için  veris seti oluşturuyoruz

Önce giriş ve çıkış verilerimizi oluşturuyoruz X ve Y olarak


ilk kutuda kayan pencere metoduyla  giriş ve çıkışları seçip X ve Y adında iki listeye atıyoruz.
ikinci  kutuda  listeleri Martise dönüştürüyoruz.
Üçüncü kutuda giriş verimizi LSTM in istediği formata çevrimek için bir dönüşüm yapıyoruz
çünkü öncesinde giriş matris ebadı  (nb_samples, timesteps) şeklinde bir giriş veri boyutunu 1 olarak verip (nb_samples, timesteps , 1 ) ebadına dönüştürüyoruz.

3645 adet verimiz var. Biz 3200 'ünü eğitim için kullanıyoruz geri kalanınıda test için bırakıyoruz.


Evet sıra geldi Ağımızı oluşturmaya


İki LSTM katmanı oluşturuyoruz ilki giriş katmanı çıkışı 64 kendinden sonra yine bir LSTM katmanına bağlanacağından return_sequence  değişkenine True değerini veriyoruz.
LSTM katmanı sonrasında  0.2 lik bir Dropout katmanı koyuyoruz. Dropout en basit ifade ile sistemin ezberlemesini önlemeye çalışan bir katmandır. biraz detay isterseniz daha önceki yazılarımda kısaca bahsetmiştim ordan bakabilirsiniz.

İkinci LSTM katmanının 32 çıkışı var yine peşine Dropout katmanı kondu. Perşinede Çıkış katmanı olarak normal bir YSA katmanı -Dense-  kullanıyoruz. Bir çıkış yani takip eden günün en yüksek sıcaklığı olduğundan çıkışı 1 .

model sınıfının summary fonksiyonu ile  modelimizin yapısını ve katmanların çıkış ebatlarını parametre sayılarını görebiliyoruz.



Bir katmanın girişi kendinden öncekinin çıkışı olduğunda girişleri göstermesine gerek olmuyor.

Eğitime başlatıyoruz. 



Eğitim sonunda  Test verisinden başlangıcını rastgele seçeceğimiz  100 adet veri seçiyoruz. Bu veri için  Gerçek değer. Tahmin edilen değer. Bir de sadece seçtiğimiz aralığın başlangıç değerini alıp ileriye doğru zincirleme tahmin hesaplattırarak  grafikler çizdiriyoruz.


Grafik den görüklerimizi yorumlayalım.
  • Tahmin ve gerçek değer arasında Müthiş bir sayısal yakınlık yok.
  • Sayısal doğruluk gibi bir bekleti bu tip bir zaman serisi için pekde mümkün değildi
  • Fakat Grafiklerdeki inişve çıkışlar parelellikler içeriyor.  Sequence learning kavramı hatırlayın
  • Zincirleme ileriye doğru tahmin ilk başta çalışsada sonrasında bir rakama sabitleniyor.
  • Bu da beklediğimiz bir durum bakınız  kaos teorisi

Ipython dosyasına ve veriye burdan ulaşabilirsiniz.

https://github.com/birolkuyumcu/high_temp_lstm

Bundan sonra tavsiyem,  ağın yapısı , parametreleri, hatta pencere ebatları ile oynayarak ne şekilde sonuçlara ulaşılabiliyor görmenizdir.

Eleştiri, öneri yada sorularınız olursa bekleriz...

Cumartesi, Ocak 28, 2017

Türkiyede Terör

Kaggle da 'Global Terrorism Database' adında bir veri tabanı yayınlanmış. Dünya çapında 1970 - 2015 yılları arasında 150 binden fazla eylem hakkında bilgiler içeren bir çalışma olmuş. merkezi Maryland Üniversitesi'nde bulunan Terörizm ve Terörle Mücadele Çalışmaları için Ulusal Konsorsiyum (START) araştırmacıları oluşturulmuş ve devam ettirilmektedir.




Bizde bu veritabanından ülkemizde gerçekleşen eyemleri gösterelim dedik.



Teror from bluekid on Vimeo.


Yukardaki haritada 1970 den 2015 in sonuna kadar gerçekleşen eylemler harita üzerinde gösterilmiştir.

Veritabanında Türkiyede geçen  3557 eylem var. Bu eylemleri gerçekleştiren  90 örgüt var.  Faili meçhuller de var elbette.

Yıllara göre Gerçekleştirilen eylem sayısı ve ölümler


 En çok eylemin olduğu yıllar ve eylem sayıları

1992    514
2015    416
1994    300
1991    293
1990    195
2012    189
1977    189
1979    141
1995    133
1989    114
Eylemlerde ölen insan sayılarına baktığımızda yıllara göre  en yüksek 10

1992    1233.0
1994     982.0
1990     512.0
2015     490.0
1991     308.0
2012     248.0
1989     232.0
1995     189.0
1987     187.0
1999     127.0
Örgütler Eyemlerine göre sıralarsak Yüzde olarak


PKK % 45 ile en fazla eylem yapan örgüt olmuş. İşin ilginci ikinci sırada % 36 ile faili meçhul eylemler geliyor.

IŞİD 'in eylem sayısı yüzdesi az olduğuna bakmayın En kanlı eylemler sırasında PKK ile başa baş gidiyorlar.

Son olarak 10 ar yıllık periyotlarda göre yine harita üzerinden fakat Ölüm sayısına göre çember büyüklüklerini değişterek çizdirdiğimiz haritalara göz atın. ilk yıl dahil son yıl dahil değil şeklinde





Elbette son haritamızda mecburen 5 yıllık bir veri var. Ama malesef 10 yılları aratmıyor



Son olarak;  Biz burda Dünya çapında hazırlanmış genel bir veritabanı kullandık. Ülke yöneticilerimizin ulaşabilecekleri çok daha detaylı veriler olduğu aşikardır.
Malum ölçemediğiniz şeyi düzeltemezsiniz de, yönetemezsiniz de. Bi-zahmet inceleyip gereken çıkarımları yapsınlar

Not : Bütün işlemler python kullanılarak yapıldı. Kaggle daki sayfada örnekleri görebilirsiniz.  Bende ordaki kodlardan faydalanıp yazdım zaten. Patron duymadan alel acele bloga yazı yazdığımdan ipython-notebook 'u düzenleyip yayınlıyamadım. Kusuruma bakmayın.