Siber tehdit istihbaratında Tehdit İstihbarat Kaynakları ve Yayınlarına Genel Bakış konusunu bir önceki yazımızda sizlerle paylaşmıştık. Bugünkü yazımızda siber tehdit istihbaratı makalelerimizin dokuzuncu bölümü olan “Siber Tehdit İstihbaratında Veri Yığını Toplama” konusu ile karşınızdayız.
Teknolojinin gelişmesi ve yaygınlaşması ile birlikte veri üretimi de hızla artmış ve son yıllarda o zamana kadar üretilen verilerin toplamını ikiye, üçe katlayarak günümüze kadar gelmiştir. İnternet kullanımının artması, sosyal medya devrimi gibi nedenlerle dijital ortamda üretilen veri miktarı da hızla büyümeye devam etmiştir. Bu artış sadece veri miktarında değil aynı zamanda veri çeşitliliğinde de meydana gelmiştir. Bloglar, ağ günlükleri, görüntü ve ses dosyaları, GPS verileri, sensör verileri, log dosyaları gibi değişik kaynaklardan gelen farklı formattaki verilerin hızla büyümesi sonucu dijital ortamda “bilgi çöplüğü” olarak tabir edilen bir yığılma ortaya çıkmıştır.
Veri Yığını Toplamaya Giriş
Bugün artık pek çok kurumun, kullandıkları yazılımlar sayesinde müşterilerine ilişkin “yığınlarca” bilgisi bulunmaktadır. Büyük veri, artık onlar için dev bir veri yığını halinde gelmiştir. Burada önemli olan, dataya sahip olup detaylı raporlar edinmekten ziyade, bunların anlamlı birer bütün haline getirilip kullanılabilmesi, yani veriye işlev kazandırılmasıdır. Karmaşık ve yığın halindeki verileri anlaşılabilir metinlere dönüştürmektir.
Veri Yığını Toplama Formları
Veri toplamanın çeşitli yöntemleri vardır. Bu yöntemlerin sonucunda büyük veri yığınları elde edilebilir. Yöntemlere örnek olarak şunlar gösterilebilir.
- Web
- Anahtar Kelime
- QR Kod
- Kişi Kartı
- Dosyadan Aktarım
- API
Veri Yığını Toplamanın Yararları ve Zorlukları
Veri yığınları toplamanın ve üzerinde çalışmanın bazı yararları ve zararları olacaktır.
Veri yığını toplamanın yararları arasında şunlar sayılabilir:
- Tutarlılık
- Analiz edilebilirlik
- Erişebilirlik
- Hareketlilik
- Sürdürülebilirlik
Veri Yığını Yönetimi ve Entegrasyon Araçları
Günümüzün aşırı rekabetçi iş dünyasında, gittikçe daha çok sayıda yönetici büyük verinin kullanılması gerektiğini kabul ediyor ve veri odaklı stratejik kararlar geliştirmek istiyorlar.
Veri entegrasyonu büyük veri yığınlarının analizini kolaylaştırmaktadır.
Farklı veri ambarlarında depolanan verilere erişim sağlayarak, bir kurumsal uygulamadan diğerine değişiklikleri eşleyerek ve amaçlanan kullanıcılara gerçek zamanlı bilgi sağlayarak, veri entegrasyonu işletmelerin analiz için çeşitli sistemlerden gelen büyük verileri toplamalarını ve temizlemelerini sağlar.
Kapsamlı veri entegrasyon araçları genellikle aşağıdaki iki kategoriden birine girer:
Kurumsal Servis Veriyolu-Enterprise Service Bus (ESB): ESB teknolojisi, 2 yıldan fazla bir süredir kullanılmaktadır. Bir ESB, farklı sistemlerin ve uygulamaların birbiriyle iletişim kurmasını ve birbiriyle iletişim kurmasını sağlamak için merkezi olarak görev yapan bir entegrasyon aracıdır. ESB çözümleri son derece özelleştirilebilir. Bir ESB çözümünün, diğer bir ESB çözümünden önemli ölçüde farklılıkları olabilir. Bu, kurum içi ve eski sistemleri entegre etme gibi karmaşık entegrasyonlar için idealdir. Yapılandırılabilmesinin yanı sıra, her bileşen bir işletmenin BT altyapısı içinde herhangi bir yerde barındırılabilir ve böylelikle bir işletmenin karmaşık iç sistemlerinin ve mimarisinin genişletilmesi için çok uygundur.
Hizmet Entegre Olan Platform-Integrated Platform-as-a-Service (iPaaS): iPaaS halen Bulut’ta bulunan eski Açık Kaynak ESB teknolojisine dayanan yeni bir araçtır. Şirket içi ve bulut tabanlı hizmet, uygulama ve işlemlerin birbirine bağlanmasına yardımcı olmak için geliştirilmiştir. Bağlayıcılar, haritalar, iş kuralları ve entegrasyon akışlarının geliştirilmesine izin veren dönüşüm araçlarını içerir. Bulut tabanlı yazılım ve çözümlerin yaygınlığına yanıt olarak tasarlanan iPaaS çözümleri, hafif ve bulut tabanlı entegrasyonlar için en uygun çözümdür. iPaaS çözümleri, JSON, XML, B2B ve API’ler gibi genel hafif web servis protokollerini kullanarak işletmelerin ve geliştiricilerin yazılım ve uygulamaları daha hızlı teslim etmelerini sağlar.
Toplanan Verilerin Yapılandırması ve Normalleştirilmesi
Veri Yapılandırması: Veri ve bilgilerin yararlı olduğunu kanıtlamak için onu tutarlı bir yapı içinde düzenlenmesidir.
Veri Normalizasyonu: Varlık tiplerinin uyumunu artırmak için bir veri modeli içindeki veri niteliklerinin organize edildiği süreçtir. Bir veri bilimcisi, veri normalizasyonu yardımı ile veri ambarında bulunana büyük verileri azaltarak en uygun madencilik süresini sağlayabilecektir.
Veri Örneklemesi
Veri analizinde, örnekleme, daha büyük veri setindeki anlamlı bilgileri ortaya çıkarmak için tüm verilerin bir alt setini analiz etme uygulamasıdır. Örneğin, ağaçların dağılımının tek biçimli olduğu 100 dönümlük bir alandaki ağaç sayısını tahmin etmek istiyorsanız, 1 dönümdeki ağaç sayısını bulup 100 ile çarpabilirsiniz, ya da ağaçları yarım dönüm olarak sayabilir ve 100 dönümün tamamını doğru bir şekilde göstermek için 200 ile çarpabilirsiniz.
Veri Örnekleme Türleri
Verilerden örnekler çizmek için birçok farklı yöntem vardır; ideal olan veri setine ve duruma göre değişir. Örnekleme , örnek için seçilen noktalar arasında korelasyon bulunmasını sağlamak için veri setindeki noktalara karşılık gelen rastgele sayıları kullanan bir yaklaşım olan olasılığa dayalı olabilir.
- Basit rastgele örnekleme: Tüm popülasyondan rastgele örnekler seçmek için kullanılır.
- Tabakalı örnekleme: Veri kümeleri veya popülasyonun alt kümeleri, ortak bir faktöre dayanarak yaratılır ve örnekler, her bir alt gruptan rastgele toplanır.
- Küme örneklemesi: Daha büyük veri seti tanımlanmış bir faktöre dayanarak alt kümelere ayrılır , ardından rastgele küme örneklemesi analiz edilir.
- Çok aşamalı örnekleme: Daha karmaşık bir küme örnekleme biçimi olan bu yöntem aynı zamanda daha büyük popülasyonu bir dizi kümeye bölmeyi de içerir. İkinci aşama kümeleri daha sonra ikincil bir faktöre göre parçalanır ve bu kümeler daha sonra örneklenir ve analiz edilir. Bu aşama , çoklu alt kümeler tanımlandığı, kümelendiği ve analiz edildiği şekilde devam edebilir.
- Sistematik örnekleme: Daha büyük popülasyondan veri elde etmek için bir aralık ayarlayarak bir örnek oluşturulur – örneğin, analiz edilecek 20 satırlık bir örnek boyutu oluşturmak için 200 maddelik bir elektronik tablodaki her 10. satırın seçilmesi.
Örnekleme ayrıca, bir veri örneğinin analist kararına dayanarak belirlendiği ve çıkarıldığı bir yaklaşım olan olasılıksızlığa da dayanabilir. Dahil etme, analist tarafından belirlenirken, numunenin olasılık örneklemesinin kullanılmasından daha büyük popülasyonu doğru bir şekilde temsil edip etmediğini tahmin etmek daha zor olabilir.
Depolama ve Veri Görselleştirme
Veri görselleştirme, dünya çapındaki
şirketlere kalıpları tanımlama, sonuçları tahmin etme ve iş getirilerini
iyileştirme konusunda yardımcı olmaktadır. Görselleştirme, veri analizinin
önemli bir yönüdür. Basitçe söylemek gerekirse, veri görselleştirme, tablo
biçiminde veya uzamsal verilerin sonuçlarını görsel bir biçimde iletir.
Görüntüler dikkat çekme ve fikirleri net bir şekilde aktarma gücüne sahiptir.
Bu karar vermeye yardımcı olur ve iyileştirmeler için önlem alınmasını sağlar.
Doğru araçları kullanarak, ham verilerinizden ikna edici bir görsel hikaye çizebilirsiniz.
Veri görselleştirme için bazı ücretsiz ve açık kaynaklı araçlar vardır. Bunlara
örnek vermek gerekirse;
- Candela
- Charted
- Datawrapper
- Google Data Studio
- Google Charts
- Leaflet
- MyHeatMap
- Openheatmap
- Palladio
- RawGraphs
- Tableau Public
- Timeline
- Chartist.js
- ColorBrewer
- D3.js
- Plotly
- Polymaps
- Weave
- Dygraphs
- GanttPro
Birçok kurum veri depolama konusunda zorluklar yaşamıştır. Yeni teknolojik gelişmeler, verilerin nasıl depolanacağı konusunda yeni yollar getirmektedir. Öte yandan, bilgisayar korsanları, veri depolamayı güvence altına alınması gereken karmaşık bir işlem haline getirmiştir. Aşağıda bazı veri depolama yolları verilmiştir.
- Optik diskler
- Harici sabit diskler
- Flash sürücüler
- Bulut servisleri
Yazar: Cyber Intelligence Analyst Gurbet Başakçi
Bölüm – 10 Veri Analizine Genel Bakış
