Büyük Veri (Big Data) Üzerine

Lise yıllarında okulumuza bir üniversitenin öğretim üyelerinden oluşan bir ekip tanıtıma gelmişti. O güne dair bende merak uyandıran tek şey Deniz Ülke Arıboğan’ın “Tarih sadece savaşlardan ibaret değildir. Acaba tarihte ilk kim pilavı yaptı?” mealindeki sözü oldu ve beni tabiri caizse şoke etmişti. Gerçekten kimdi ve pirinci pişirmeyi nasıl akıl etmişti?  Neden bunları bize hiç öğretmemişlerdi? Daha da önemlisi “Biz neden hiç merak edip, sormamıştık?”

Burada eğitim sistemindeki eksiklikleri sayarak şikayet edecek değilim. Sadece bu yazıda ülkemiz için en iyisini ümit etmekle yetinerek, meraklısı için eğitim alanı ile ilgili bir kaç ilginç kaynak paylaşacağım. İlki dünyanın en iyi eğitim sistemi olarak kabul edilen Finlandiya’nın her anlamıyla bugüne nasıl geldiğini anlatan ve Atatürk’ün de askeri okulların müfredatına girmesini emrettiği kitap “Beyaz Zambaklar Ülkesinde”. İkincisi, bir kısmında Finlandiya eğitim sistemini inceleyen Micheal Moore’un “Where to Invade Next?” belgeseli. Sonuncusu ise eğitim alanında uluslararası danışman olan Sir Ken Robinson’un konuşmaları. En çok tavsiye ettiğim üç konuşması ise şöyle : Do schools kill creativity?(Okullar yaratıcılığı öldürüyor mu?)  , Bring on the learning revolution!(Öğrenme  devrimi başlasın!) ve How to escape education's death valley ( Eğitim’in ölüm vadisinden nasıl kaçılır . )

Şimdi gelin sizi M.Ö 3000 li yıllara götüreyim ve ilk başta Deniz hocanın sorusunun bir başka versiyonunu sorayım. Peki “Tarihte yazılı kaynaklarda adı geçen ilk kişi kim?”

Burada Yuval Noah Harari’nin Sapiens: Hayvanlardan Tanrılara (İnsan Türünün Kısa Bir Tarihi) adlı kitabının 131. Sayfasını sizinle paylaşmak istiyorum.

“Uruk şehrinden kil tablet.Aşağı yukarı MÖ 3400-3000 .”Kushim” belirli bir kişinin adı olabilceği gibi, bir idarei görevin ismi de olabilir. Eğer bu birinin ismiyse tarihte adı bilinen ilk insan Kushim olabilir! Tarihteki eski insanlara verilmiş tüm isimler(Neandertaller, Natuflar, Chauvet Mağarası, Göbekli Tepe) modern icatlardır. Örneğin, Göbekli Tepe’yi inşa edenlerin oraya ne dediğini bilmiyoruz. Yazının ortaya çıkmasıyla birlikte tarihi, o dönemin yaşayanlarının gözünden okuyabilmeye başladık. Kushim’in komşuları onu çağırdığında gerçekten de “Kushim” diye bağırmış olabilirler. Tarihte adı yazılmış ilk insanın peygamber, şair veya büyük bir komutan değil de bir muhasebeci olması çok anlamlıdır.”

“Tabletin aşağı yukarı çevirisi ise şöyle : “ 37 ayda toplam 29.086 ölçü arpa teslim alındı. İmza, Kushim”. Tarihteki ilk metinler felsefi bir düşünce, şiir, efsane, yasa, hatta savaş zaferlerinden bile değil, vergi ödemelerinden, borç birikimlerinden ve mülkiyet sahipliğinden bahseden sıkıcı ekonomik belgelerdi.” Diyor Harari sayfanın devamında. Tüm bunların altında yatan sebep ise hesap kayıtlarının artık sözlü olarak tutulamamaya başlanmasıdır. İşte bu kadar basit bir nedenden ötürüdür 6000 yıl önce yazının ortaya çıkması.

“Söz uçar, yazı kalır. ( Verba volant, scripta manent)”

Yazının keşfiyle artık kayıt tutabilir, veri saklayabilir halde geldik. Önceleri çivi yazısı ve hiyerogliflerle başladık. Derken alfabenin ortaya çıkışı, sonra matbaa ile birlikte bu bilgilerin yayılması hızlandı.  Bugün dijitalleşme ile geldiğimiz noktayı birkaç örnek ile sizinle paylaşmaya çalışacağım.

                2016 yılında Alman yönetmen Werner Herzog , “ Lo and Behold : Reveries of Connected World “ belgeselinde şöyle bir benzetme yapıyor. Bugün  1 günde üretilen verileri CD lere (700 mb boyutundaki cdleri hatırlarsınız) yazıp, üst üste koysak, Mars’a  gidip-gelebileceğimiz bir uzunluğu ulaşırız. 2016 yılında global olarak üretilen veri yaklaşık 12 zettabayttı. 2019 yılında bunun 30 zettabyte olacağını düşündüğümüzde içinde olduğumuz veri evreninin anlamak değil ama biraz farkına varabiliriz ve bu artış eksponansiyel olarak devam ediyor. Zettabyte’ın ne olduğunu kavramak ve artışın nasıl bir trend izlediğini görmek için alttaki iki  görsel size biraz ipucu verebilir.( 1 zettabyte , 1 saatlik TV programının, 125 milyon yıl uzunluğundakine eş değer bir veri boyutu)

Son 10 yılda dijitalleşme ile eksponansiyel olarak artan veriyi anlamak adına şu bilgiyi de paylaşayım . 2014 yılında IBM, dünya üzerindeki verinin %90’ının son birkaç yılda üretildiğini söyledi. İnanılmaz bir veri patlaması yaşıyoruz ve işte buna büyük veri diyoruz.

                Büyük veri denmesinin 3 temel faktörü var. 3 V olarak adlandırılan, Volume (Hacim), Variety(Çeşitlilik) ve Velocity ( Hız) , günümüzde elde edilen verilerin ana karakteristik özelliklerini tanımlıyor. Az önce genel olarak nasıl bir veriden bahsettiğimizi söyledim ancak biraz daha fazla kavrayabilmek adına sadece sosyal medyada, 2018 yılında, 1 dakikada neler olduğuna bakarsak, karşımıza hayal dahi edemediğimiz bir veri evreni çıkıyor.

Bunun yanında IoT (Nesnelerin İnterneti), hatta IoE (Her şeyin İnterneti) ve diğer alanlarda üretilen veriyi koyduğumuzda bu hayal dahi edemediğimiz evren, biraz daha hayal edilemez hale geliyor ve daha da ilerisi IBM’e göre 2020 yılında dünya üzerindeki veri her 12 saatte bir ikiye katlanacak.

Bu nokta da aklımıza tek soru geliyor. “Tüm bu verilerle ne yapacağız? veya “Tüm bu verileri nasıl kullanacağız?”  Big Data Analizi günümüzün en önemli konularından biri ve bu verilerin analiz edilmesiyle neler yapıldığına dair birkaç örnek paylaşmak istiyorum.

Manchester’daki akademisyenler tarafından yapılan çalışma ortaya koydu ki Amerikan Stok Marketi’ ndeki hareketlenmeleri Twittter’ daki atmosfere bakarak tahmin etmek mümkün. Twitter Stock Market Prediction adlı uygulama gerçek zamanlı olarak, verilen zaman dilimi içinde tweetler aracılığı ile paylaşılan duyguları analiz ediyor ve Twitter’ ın modunu tahmin ediyor. Diğer bir deyişle, popülasyonun mutluluk, endişe ve enerji seviyelerini tahmin ediyor ve Twitter’ daki havanın US Stok Marketi’ ndeki dalgalanmalarla ilgili olduğu ortaya çıkıyor. Hatta görünen o ki ,o yönde gidiyor. Bu yüzden, 3-4 gün sonraki finansal değişikliklerin tahminleyicisi olarak işlev görüyor program. Acaba mutluluk seviyesi yükseldiğinde, hisse senetleri de muhtemelen yükselecek.

Farklı bir örnekte ise , Los Angeles’taki polisler nerede devriye gezmesi gerektiğini anlamak için suçları tahmin eden Predpol adlı bir uygulama kullanıyor. Geçmiş yıllardaki suç raporlarını analiz eden ve bir tahmin algoritması kullanan program, harita üzerinde suçluların yüksek ihtimalle harekete geçecekleri noktaları kırmızı ile işaretliyor. Bu bölgelerde polis sayısı artırılıyor. Program, analizcilerden 6 kat daha doğru şekilde suçları tahmin etmeyi başardı.

Son örnek olarak ;  Hava Limanlarında dakikalar çok önemli. Eğer uçak, yer ekibi hazır olmadan iniş yaparsa, uçuş ekibi ve yolcular uçakta beklemek zorunda kalırlar. Tam tersi durumda ise yer ekibi dakikalarca uçağın inmesini beklemek zorunda kalır. İki durumda da zaman ve maliyet kaybı söz konusu. Bir Amerikan hava yolu şirketinin iç araştırmasından öğrendiği şey ise , uçuşların %10’undan tahmini iniş ile gerçekleşen iniş arasında en az 10 dakika fark var. %30’unda ise en az 5 dakika fark var. O zamana kadar hava yolu şirketi uzun yıllardır sektörde kullanılan ve pilotlar tarafından verilen tahmini iniş zamanını kullanıyordu. Hava yolu şirketi , PASSUR Aerospace tarafından sağlanan RightETA hizmetini kullanma kararı aldı. RightETA ise tahmini iniş zamanını, hava koşullarını, geçmiş uçuş takvimlerini ve kendi topladıkları radar verilerini analiz ederek veriyor. Basit olarak sistem şunu analiz ediyor. “ Bu şartlar altında hava limanına inen uçaklarda neler yaşandı?”   Bu sayede hava yolu şirketi, büyük veri analizini kullanarak, her yıl, her hava alanında birkaç milyon dolar tasarruf sağladı.

Özetle, tabletlere kazılarak kaydedilen ilk verilerden, günümüzde ulaştığımız veri muazzam boyutlara ulaştı ve bununla ne yapacağımız konusu teknolojinin en önemli sorusu. Bir noktada tüm bu verileri kullanarak daha iyi kararlar veriyoruz hatta geleceği tahmin ediyoruz.( Stock-out verilerini analiz ederek, gelecekte ne zaman, hangi üründen stock-out olunacağının analizi gibi). Diğer yandan ise çizi yazısı ile başladığımız şekiller ile  veri yolculuğunda, emojiler ile aynı noktaya mi geldik acaba diye sormadan edemiyorum.