Belirsizlik Altında Otomasyon Yatırım Getirisini Modellemek

Otomasyon teklifleri neredeyse her zaman tek bir sayıyla savunulur: bir geri ödeme süresi, bir yıllık tasarruf ya da bir getiri katsayısı. Bu sayı kesin değildir, üstelik yapısal nedenlerle olduğundan yüksek çıkar. Standart getiri ifadesindeki her terim bir rastlantısal değişkendir, bu değişkenlerin çoğu aynı yöne çarpıktır ve getiri bunların doğrusal olmayan bir fonksiyonudur. Bu yüzden tipik girdilerden hesapladığınız getiri, tipik getiri olmaz. Aşağıdaki bölümler, nokta tahminin yerine ayrıştırılmış bir model, bir referans sınıfı önceli, küçük bir Monte Carlo koşusu ve ortalama yerine yüzdeliklere dayanan karar kuralları koymayı anlatıyor.

Nokta tahmininin anatomisi

Kaba biçimden başlayalım. T yıllık bir ufukta yatırım getirisi ROI = (B − C) / C'dir. B birikimli fayda, C birikimli maliyettir. Bu ifadeyle tek başına karar verilemez, o yüzden iki tarafı da parçalarına ayırmak gerekir.

Yıllık fayda B_a = F × H × R × A biçimindedir. Burada F sürecin yılda kaç kez koştuğu, H tek bir koşunun bugün tükettiği insan saati, R bu saatlerin tam yüklü saatlik maliyeti, A ise otomasyonun gerçekten üstlendiği iş oranıdır. Maliyet C = D + M × D × T + X'tir. D teslim maliyeti, M ise D'ye uygulanan yıllık bakım oranıdır. X, tekliflerin çoğu zaman hesaba katmadığı entegrasyon, eğitim ve değişim yönetimi maliyetidir.

Her terimin belirsizliği farklıdır. F genellikle en iyi bilinen terimdir ve çoğu zaman doğru ölçülen tek terim de odur. Bir operasyon kaydı bu konuyu kapatır. Bir kart matbaası için geliştirdiğimiz RPA akışı ERP'den sipariş verisini çekiyor, sevkiyat etiketlerini biçimlendiriyor ve bunları sipariş karşılamaya iletiyor. Günde 800'den fazla kez koştuğunu yürütme kayıtlarından biliyoruz, kimseye sormamız gerekmedi. H daha zordur. Bir işin ne kadar sürdüğünü sorduğunuzda insanlar dikkatle çalıştıkları durumu anlatır, kesintileri, yeniden yapılan işi ve beklemeyi atlar. R daha da zordur, çünkü kazanılan saatler ancak boşalan kapasite başka işe yönlendirilirse ya da kadro gerçekten değişirse paraya dönüşür. İyimserlik en çok A'da toplanır. Sistemin insana geri verdiği istisna yolu, yani kalan yüzde beş, birim başına çoğu zaman yerini aldığı yüzde doksan beşten daha fazla denetim dikkati ister.

Buradan iki yapısal sonuç çıkar. Birincisi, kısıtlar teorisine (Goldratt, 1984) göre darboğaz olmayan bir adımda kazanılan zaman çıktıya ancak tesadüfen yansır, o yüzden orada R sıfıra yakın alınmalıdır. Little Yasası (Little, 1961) aynı şeyi formel olarak söyler. Kararlı bir sistemde L = λW olduğundan, sistemde geçen süre W'yi kısaltmak çıktıyı ancak varış hızı λ artabiliyorsa artırır. İkincisi, ROI bir orandır, net bugünkü değer de gecikme terimi içeren indirgenmiş bir toplamdır ve ikisi de doğrusal değildir. Ortalama girdileri doğrusal olmayan bir fonksiyona koymak ortalama çıktıyı vermez. Buna ortalamaların yanılgısı denir (Savage, 2009) ve makul görünen bir hesap tablosunun hep aynı yönde yanılması bundandır.

İçeriden bakış ve planlama yanılgısı

Sapmanın ikinci kaynağı teslim teriminin nasıl bulunduğudur. Ekipler D'yi ve devreye alma tarihini planı kafalarında kurarak çıkarır: işi parçalara ayırır, parçaları toplar, üstüne bir pay ekler. Kahneman ve Tversky (1979a) bu içeriden bakışı tarif ettiler. Onu düzeltmek için gereken bilginin, yani benzer geçmiş vakaların dağılımının, çoğu zaman elde olduğunu ve yine de düzenli olarak göz ardı edildiğini gösterdiler. Kahneman (2011) aynı ayrımı içeriden ve dışarıdan bakış olarak anlatır.

Ortaya çıkan aralık hem geniş hem de asimetriktir. Süre ve maliyet aşımı sıfırın altına inemez ama yukarıda pratik bir sınırı yoktur. Bu yüzden dağılım sağa çarpıktır ve modu ortalamasının altında kalır. En olası takvimi üç ay olan bir projenin ortalama takvimi pekâlâ beş ay olabilir. Uzun kuyruktaki olayların olasılığı düşüktür ama etkisi büyüktür: sonradan var olmadığı anlaşılan bir entegrasyon, işten ayrılan bir veri sahibi, kimsenin kapsama almadığı bir uyum incelemesi. Fayda ancak devreye almadan sonra birikmeye başladığı ve indirgendiği için, en olası takvimle hesaplanan beklenen değer, gecikme dağılımının tamamı üzerinden hesaplanan beklenen değerden yüksek çıkar. Fark indirgeme oranı arttıkça büyür. Ufkun sonlu olması da farkı açar, çünkü T'nin ötesine kayan fayda hesaptan tamamen düşer.

Beklenti teorisi (Kahneman & Tversky, 1979b) kararın insan tarafına ikinci bir etki ekler. Kayıplar eşdeğer kazançlardan daha ağır gelir ve sonuçlar bir referans noktasına göre değerlendirilir. Bu yüzden bir nokta tahmini herkesin önünde savunmuş bir sponsor, o tahmini aşağı çekmekte isteksiz davranır ve tahmin yanlış olsa bile uzun süre değişmeden kalır.

Düzeltici olarak referans sınıfı tahmini

Pratik çare, tahmini projenin kendisi yerine ait olduğu proje sınıfı için yapmaktır (Flyvbjerg, 2006). Yöntem üç adımdan oluşur ve yeni bir metodoloji gerektirmez.

Sınıfı bir şey söyleyecek kadar dar, içi dolacak kadar geniş tanımlayın. "Otomasyon projeleri" fazla geniştir. "Bu ekibin teslim ettiği, bir ERP'ye ve bir dış sisteme dokunan kurum içi süreç otomasyonları" gibi bir tanım işe yarar. Geçmişteki her proje için planlanan ve gerçekleşen süreyi, planlanan ve gerçekleşen teslim maliyetini ve öngörülen faydanın devreye almadan on iki ay sonra ne kadarının gerçekleştiğini kaydedin. Ekipler bu sonuncuyu neredeyse hiç tutmaz. Sonra bu projenin farklı olup olmadığını tartışmak yerine, oranların ampirik dağılımını mevcut içeriden tahmine bir artırım olarak uygulayın.

Hubbard (2007) bunu küçük ölçekte uygulanabilir kılar. Ona göre ölçüm belirsizliği azaltır, tamamen ortadan kaldırması gerekmez. Yapmaya değer ölçümler de yalnızca kararı değiştirebilecek olanlardır. Kendi geçmişinizden beş gözlem, bir medyanın aralığını anlamlı biçimde daraltmaya yeter. Beş gerçek projeden gelen sınırlı bir medyan, arkasında hiç proje olmayan kendinden emin bir sayıdan daha çok işe yarar.

Bir Monte Carlo kurgusu

Ayrıştırılmış bir model ve referans sınıfından gelen öncellerle benzetimi kurmak kısa bir iştir. Yöntemin tamamı aşağıdaki sözde koddan ibaret.

i = 1..N için:
    F ~ Üçgen(alt, mod, üst)               # yıllık koşu sayısı
    H ~ Üçgen(alt, mod, üst)               # koşu başına insan saati, bugün
    R ~ Kırpılmış Normal(mu, sigma, >0)    # gerçekleşebilir yüklü saat maliyeti
    A ~ Beta(a, b)                         # üstlenilen iş oranı
    D ~ Lognormal(...)                     # teslim maliyeti
    L ~ Lognormal(...)                     # devreye alma gecikmesi, ay
    M ~ Üçgen(0,10; 0,175; 0,30)           # yıllık bakım oranı
    fayda[i]   = m > L, m <= 12T aylarında (F/12)*H*R*A indirgenmiş toplamı
    maliyet[i] = D + m > L, m <= 12T aylarında M*D/12 indirgenmiş toplamı
    nbd[i]     = fayda[i] - maliyet[i]
nbd için P10, P50, P90 bildir; Pr(nbd < 0) bildir; Pr(geri ödeme <= 12 ay) bildir

Aşağıdaki tablo açıklama amaçlı bir örnektir. Varsayımsal, orta ölçekli bir kurum içi otomasyonu anlatır ve içindeki her sayı yöntemi göstermek için seçtiğimiz bir varsayımdır.

Çıktıyı nasıl okuduğunuz aritmetikten daha önemlidir. Öne çıkaracağınız sayı ortalama değil medyan olmalı. P10'u, sponsorun katlanmaya hazır olması gereken sayı olarak verin. Pr(NBD < 0) değerini de açıkça yazın, çünkü medyanı cazip olup yüzde yirmi beş kayıp olasılığı taşıyan bir proje, aynı medyanla yüzde üç kayıp olasılığı taşıyan projeden çok farklı bir tekliftir. Çıktının ortalaması ile medyanı birbirinden belirgin biçimde uzaksa bu farkın kendisi bir bulgudur ve gerekçenin üst kuyruğa dayandığını gösterir. Ardından tornado tipi bir duyarlılık analizi, yani her girdiyi kendi aralığında oynatıp çıktıyı en çok hangisinin değiştirdiğine bakmak, bir sonraki ölçümün nereye yapılacağını söyler. Hubbard'ın ölçütü de budur.

D terimiyle ilgili pratik bir not. Bir ekibin kabul ettiği en küçük iş için kullandığı taban fiyat, bu modelde yalnızca bir alt sınır olarak işe yarar. Dar bir akışın bundan ucuza mal olamayacağını söyler, belirli bir projenin kaça mal olacağı hakkında ise hiçbir şey söylemez. Ticari bir tabanı teslim tahmini gibi kullanmak, dayanaksız bir nokta tahmini dağılımsal modelin içine geri sokmanın yaygın bir yoludur.

Kademeli yaygınlaştırmanın opsiyon değeri

Kademeli yaygınlaştırma bir opsiyon dizisi gibi çalışır. Birinci kademe, modelin en az emin olduğu terimleri, genellikle A ile L'yi, gözlemleme imkânı verir. İkinci kademeyi finanse etme hakkını da verir ama sizi buna bağlamaz. Çıktı dağılımı genişse bu hak gerçekten değerlidir, çünkü sol kuyruğu keser. Kötü giden senaryolardan pilot maliyetini ödeyerek, tam maliyete gelmeden çıkarsınız.

Bu esnekliğin bir bedeli vardır ve bedel modelde görünmelidir. Kademelendirme sonradan atılacak geçici yapıları, tekrarlanan entegrasyon işini ve paydaşların ikinci kez zaman ayırmasını gerektirir. En pahalı kalem ise ertelenen faydadır ve indirgeme çarpanı bunu doğrudan cezalandırır. İşe yarar bir karar kuralı şöyle: pilot belirsiz terimi gerçekten ölçüyorsa, pilotun maliyeti tam yapımdan belirgin biçimde düşükse ve tam yapımın aşağı yönlü riski geri çekilebilmeyi değerli kılacak kadar büyükse kademelendirin. Kendi kalite kontrol çalışmamız da bu yolu izledi. Önce doğrulama hattının çalıştığını gösterdik. Onaylanmış tasarımları baskıya hazır montaj dosyalarına çeviren baskı öncesi aracını ancak ondan sonra bunun üzerine kurduk.

Kuyruk, vazgeçme kararının kendisi için de önemlidir (Taleb, 2007). Olası başarısızlık sınırsız bir zarar doğurabiliyorsa, örneğin bir uyum ihlali ya da aylarca fark edilmeden yayılan bir veri bozulması söz konusuysa, medyana dayalı hiçbir ROI kademeli ve geri alınabilir bir yol olmadan ilerlemeyi haklı çıkarmaz, çünkü böyle bir durumda ortalaması alınan niceliğin kararlı bir ortalaması yoktur.

Yinelenen bir yükümlülük olarak bakım ve kayma

Bakım çoğu zaman dipnotta kalır, ama kendi dağılımı olan ayrı bir kalem olarak modellenmelidir. Biz planlarken yıllık bakımı yapım maliyetinin %15–20'si olarak alıyoruz. Bu yayımlanmış bir kıyas değil, kendi işlerimizden çıkardığımız bir kestirim. Kural tabanlı otomasyon, altındaki sistemler değiştiğinde bozulur: bir seçici yer değiştirir, bir dışa aktarma biçimine yeni bir kolon eklenir, bir API bir alanı kullanımdan kaldırır. Model tabanlı bileşenler başka türlü, girdi dağılımındaki kaymayla bozulur. Bu daha kötüdür, çünkü sessiz olur. İstisna fırlatmaz, kalitenin yavaşça düşmesiyle kendini belli eder.

Bu yükümlülüğü sermayeleştirince sıralama değişir. Yapım maliyeti D üzerinden M oranında süresiz bir ödeme akışı ve r indirgeme oranı varsayarsak bakımın bugünkü değeri M × D / r olur. M = 0,175 ve r = 0,10 için bu 1,75 × D eder, yani süregelen yükümlülük yapımın kendisinden büyüktür. Varsayımlar açık ve iddialı: sabit oran, büyüme yok, sonsuz ömür. Beş yıllık bir ufka indirildiğinde bile bu terim, yalnızca teslim maliyetine bakınca eşdeğer görünen iki projenin sırasını tersine çevirecek kadar büyük kalır.

Otomasyon bakım masrafını ortalama süreyi kısaltmanın yanında değişkenliği azaltarak da hak eder. Bir koleksiyon kartı üreticisi için kurduğumuz kalite kontrol hattında 90'dan fazla doğrulama kontrol noktası, sekiz saat süren elle kontrolü yaklaşık on beş dakikaya indirdi. Kalite kontrol sürecinin yaklaşık %95'i otomatikleşti ve üretim yaklaşık %300 hızlandı. Hesaplarda genelde süre kazancı öne çıkar. Kalıcı fayda ise kontrol noktalarının yedinci saatte de ilk saatteki gibi çalışmasından gelir. Elle yapılan kontrolde dikkat saatler geçtikçe düşer.

ROI gerekçesiyle neyin otomatikleştirilmemesi gerektiği

Dört tür iş bu testi baştan geçemez. Seyrek yapılan ve kısa süren işlerde F × H o kadar küçüktür ki makul hiçbir A değeri D'yi geri kazandırmaz. Darboğaz olmayan bir noktada kazanılan zaman çıktıya dönüşmez (Goldratt, 1984). Yakında değişmesi planlanan bir süreci otomatikleştirmek onu olduğu gibi sabitler ve sonradan değiştirmeyi pahalılaştırır. Bozuk bir süreci otomatikleştirdiğinizde ise aynı hataları daha hızlı üretmeye başlarsınız.

Ters yönde işleyen bir durum da var. Ortalama tasarrufu mütevazı ama elle yapıldığında sonucu çok değişken olan süreçler, örneğin muayene, mutabakat ve uyum kontrolleri, kazanılan saatler etkileyici görünmese de güçlü aday olabilir. Asıl getiri, geri kazanılan saatlerden çok artık yaşanmayan hatalardan gelir.

Sınırlamalar

Dağılımsal tahminin daha iyi otomasyon sonuçları getirdiğini burada göstermiş değiliz. Kontrollü bir karşılaştırma yok ve çalışılmış örnekteki sayıların hiçbiri ölçüm değil. Aktardığımız birinci elden sayılar (kalite kontrol sonuçları, RPA koşu sıklığı, %15–20 bakım kestirimi) kendi işlerimizden geliyor ve genel parametre çıkarılabilecek bir örneklem sayılmaz. Monte Carlo kurgusu girdilerin bağımsız olduğunu varsayıyor, oysa pratikte değiller. Teslim maliyeti ile gecikme birlikte hareket eder, ikisi de fiilen üstlenilen iş oranıyla ilişkilidir. Bu yüzden basit bir benzetim, her şeyin birlikte kötü gitme riskini olduğundan düşük gösterir. Referans sınıfı tahmini bir sınıf gerektirir ve küçük ekiplerde böyle bir sınıf olmayabilir. O durumda yöntem, varsayımları açıkça görünen yapılandırılmış bir tahmine dönüşür ve şeffaflık kazandırsa da doğruluğu artırmaz. Son olarak bu model parayla ölçülmesi zor faydaları dışarıda bırakıyor: kilit kişiye bağımlılığın azalması, daha hızlı yineleme, personelin daha önemli işlere ayırabildiği zaman. Yalnızca sayılabilen terimlere dayanan bir karar kuralı bu faydalara sürekli olarak az yatırım yaptırır.

Kaynaklar

• Flyvbjerg, B. (2006). From Nobel Prize to Project Management: Getting Risks Right.
• Goldratt, E. M. (1984). The Goal.
• Hubbard, D. W. (2007). How to Measure Anything.
• Kahneman, D. (2011). Thinking, Fast and Slow.
• Kahneman, D., & Tversky, A. (1979a). Intuitive Prediction: Biases and Corrective Procedures.
• Kahneman, D., & Tversky, A. (1979b). Prospect Theory: An Analysis of Decision Under Risk.
• Little, J. D. C. (1961). A Proof for the Queuing Formula: L = λW.
• Savage, S. L. (2009). The Flaw of Averages.
• Taleb, N. N. (2007). The Black Swan.