VERİYİ ANLAMADA HISTOGRAM ve ECDF

İç denetim ve veri bilimi birlikteliği adına, Histogram ve ECDF konularına değinmek istiyorum. İç denetime ya da özel bir incelemeye ya da hile analizine konu olan veri muazzam boyutlarda olabilir. Örneğin 15000 satır verinin önümüze geldiğini hayal edelim. Bu veriyi ayrıntılı incelemeden önce, verinin aritmetik ortalaması, medyanı, standart sapması vs. muhakkak incelenmelidir, ama veriyi görselleştirmek ve böylece verinin ne dediğini anlamaya çalışmak muazzam bir öneme sahiptir. Veriyi anlamadan yapılacak ayrıntılı analizler hata doğurabilir.

Veriyi anlamaya çalışırken, verinin Histogram grafiğinin elde edilmesi sıklıkla yapılmaktadır. Histogram grafiği istatistik derslerinde de önemli bir yer tutar. Bütün önemine rağmen, Histogram’ın zihnimizi karıştırması muhtemeldir. İddialı bir cümle olarak görülebilir, ama Histogram aralığı seçimi (bins) buna sebep olabilir. Her ne kadar aralık seçimi için teknikler mevcut olsa bile, bu tekniklerin gözden kaçırılması mümkündür. Ne demek istediğime örnek bir senaryo ile devam edeceğim.

Şirketinizde 10 TL altı giderlerin tek imzayla yapıldığını düşünelim. Örneğin birim şeflerinde bu yetki olsun. 10 lira üstü giderlerde ise birim müdürü ve birim şefi birlikte imza kullansın. İç denetim işlevi 10 lira altı giderleri incelemeye karar versin. Muhasebe fişlerinde yer alan örnek açıklamalar şunlar olabilir: ‘Personel Ali Beyin notere git gel dolmuş ücreti’, ‘Çifte kavrulmuş 100 gr Türk kahvesi’… Şimdi, bu verileri öncelikle Histogram ile inceleyelim. İlk Histogram’da bins 10, ikincisinde ise bins 20… Her ne kadar her iki Histogram aynı veriden türetilmiş olsa bile, hatalı varsayımlar üretmemize sebep olabilecektir.

Histogram’ı yanlış anlama derdinden kurtulabilmek için, ECDF (Empirical Cumulative Distribution Function) ile verinin görselleştirilmesinde fayda olduğu kanaatindeyim. Aşağıda ilgili grafik var. Grafiğe baktığımızda, birikimli veriyi görmemiz mümkündür.

(Ben Python ile bu grafikleri elde ettim, ECDF hakkında ayrıntılı bir yazı için TIKLAYINIZ. Yazı R dili ile, ama ECDF’nin mantığını anlatıyor.)