USMOS 2015 ODTÜ, ANKARA
SİMÜLASYON DENEYLERİ TASARIMI: BİR SİMÜLASYON MODELİ ÜZERİNDE KARŞILAŞTIRMALI ÇALIŞMALAR Bülent Soykan (a), Serpil Erol (b) (a)
(b)
Old Dominion University, Department of Engineering Management and Systems Engineering, Norfolk/Virginia/USA,
[email protected]
Gazi Üniversitesi, Mühendislik Fakültesi, Endüstri Mühendisliği Bölümü, Ankara,
[email protected]
ÖZ Simülasyon, karmaşık sistemlerin temel çıktı performans göstergelerinin doğru olarak tahmini için yaygın olarak kullanılan ve genel kabul görmüş bir tekniktir. Ancak, birçok simülasyon modelinin uygulama (koşum) zamanı genellikle yavaştır ve paralel simülasyonlar haricinde her deneyde sadece bir senaryo değerlendirilebilir. İlave olarak, karmaşık yapıdaki gerçek yaşam sistemleri çoğunlukla büyük miktarda girdi parametresi içerir ve bunların çoğu sistemin çıktı performansını etkileme potansiyeline sahiptir. Bu zorluklar ile baş edebilmek için “deney tasarımı” yöntemleri kullanılarak göreceli olarak önemsiz olan girdi parametreleri elenerek faktör sayısı azaltılabilir. Sonuç olarak, girdi parametrelerinin küçük bir kümesi, daha etkin ve etkili bir şekilde incelenebilir ve parametreler arasındaki etkileşimler daha az simülasyon deneyi ile ortaya çıkartılabilir. Ayrıca, simülasyon modellerinin büyük bir çoğunluğu stokastik bir yapıda olduğundan her bir tasarım noktası birçok kez koşturulmalıdır, çünkü tüm girdi değerlerinin belirlenmesi çıktılardaki rassallığı ortadan kaldırmaz. Bu çalışmada, simülasyon deneyleri tasarımı yöntemleri kullanılarak elde edilebilecek fayda ile ilgili farkındalığın artırılması maksadıyla bu yöntemler, geliştirilen bir havayolu operasyonları simülasyon modeli kullanılarak karşılaştırmalı olarak incelenmiştir. Anahtar Kelimeler: Simülasyon Deneyleri Tasarımı, Tam Faktöriyel Tasarım, Kesirli Faktöriyel Tasarım, Merkezi Kompozit Tasarım, Taguchi Ortagonal Dizi.
DESIGNING SIMULATION EXPERIMENTS: COMPARATIVE STUDIES ON A SIMULATION MODEL ABSTRACT Simulation is a widely accepted technique to estimate accurately the key output performance measures of complex systems. However, the execution time of a
188
USMOS 2015 ODTÜ, ANKARA
simulation is usually slow and can only evaluate one scenario at a time (except parallel simulations). Moreover, these kind of complex real-life systems typically involve large number of input parameters which potentially affect the system’s output performance. In order to overcome these difficulties “design of experiments” methods can be utilized to reduce the number of input parameters with eliminating the unimportant ones. As a result, a smaller set of input parameters can be examined in a more efficient and effective way and the interactions between these parameters can also be identified. Additionally, due to the fact that most of the simulation models are stochastic in nature, each design point needs to be executed several times, because determination of input values do not eliminate the randomness inherent to the output. In this research, it is aimed to increase the awareness related to the value that could be obtained by using designing simulation experiments’ methods and to this end, these methods are studied comparatively by utilizing an actual airline operations simulation model. Keywords: Designing Simulation Experiments, Full Factorial Design, Fractional Factorial Design, Central Compozite Design, Taguchi Ortagonal Arrays.
1.
GİRİŞ
Simülasyon, karmaşık sistemlerin temel çıktı performans göstergelerinin doğru olarak tahmini için yaygın olarak kullanılan ve genel kabul görmüş bir tekniktir. Simülasyon modeli oluşturulduktan sonra benzetimi yapılan gerçek sistemin çeşitli senaryolardaki muhtemel performansının yüksek güven seviyesinde ve kısa bir sürede elde edilebilmesi için etkin yöntemlere ihtiyaç vardır. Bu amaçla kullanılan yöntemlerden birisi de istatistiksel bir teknik olan “deney tasarımı (design of experiments)” yöntemidir. Simülasyon çalışmaları genellikle sınırlı kaynaklar (zaman, bütçe, insan gücü vb.) kullanılarak yapılır. Bu kaynakların büyük bir çoğunluğunun genellikle simülasyon modelinin geliştirilmesi, doğrulanması ve geçerlenmesi için harcandığı düşünüldüğünde simülasyon modeli ile deneyler yapılması ve girdi parametre değerlerinin belirlenmesi için gerekli kaynakların yeterli olmayacağı açıktır. Gerçek sistemler ile yapılan deneylerde yaklaşık 10 adetten fazla faktörün eş zamanlı olarak ele alınması zordur. Ancak, simülasyon modelleri ile yapılan deneylerde durum farklıdır, incelenmesi gereken faktör sayısı çok daha fazladır. Simülasyon modeli ile koşumların yapılmasından önce tüm girdi parametrelerine (faktörlere) ait seviyelerin belirlenmesi gerekir. Tüm faktörler ve potansiyel seviyeleri belirlendikten sonra yüksek miktarda muhtemel senaryo elde edilir. Örneğin, her biri 5 seviyede 12 adet faktör incelenecekse, dikkate alınması gereken yaklaşık 25 milyon (512) farklı senaryo vardır. Simülasyon modelleri ile yapılan deney sayısı, gerçek sistemlerle yapılan deney sayısına oranla çok daha fazladır. Ayrıca, simülasyon modellerinin büyük bir çoğunluğu stokastik bir yapıda olduğundan her bir tasarım noktası birçok kez koşturulmalıdır,
189
USMOS 2015 ODTÜ, ANKARA
çünkü tüm girdi değerlerinin belirlenmesi çıktılardaki rassallığı ortadan kaldırmaz. Bu nedenlerle, simülasyon modelleri ile yapılacak deneylerin tasarımı, klasik deney tasarımından farklı olacaktır. Bu çalışmanın amacı, simülasyon deneyleri tasarımı yöntemleri kullanılarak elde edilebilecek fayda ile ilgili farkındalığın artırılması, geliştirilen bir simülasyon modeli üzerinde çeşitli simülasyon deneyleri tasarımı yöntemlerinin karşılaştırmalı olarak incelenmesidir. Bu çalışma altı bölümden oluşmaktadır. Giriş bölümünü takip eden ikinci bölümde, simülasyon deneyleri tasarımı ile ilgili tanımlar ve karşılaşılan zorluklar; üçüncü bölümde ise, literatürde ve pratikte sıklıkla kullanılan simülasyon deneyleri tasarımı yöntemleri açıklanmıştır. Dördüncü bölümde; üzerinde karşılaştırmalı olarak inceleme yapılan simülasyon modelinin yapısı ve geliştirilme süreci kısaca izah edilmiştir. Beşinci bölümde; simülasyon modeli üzerinde yapılan uygulama çalışmasının sonuçları sunulmuştur. Son bölümde ise; elde edilen sonuçlar değerlendirilmiştir.
2.
SİMÜLASYON DENEYLERİ TASARIMI
2.1. Tanımlar Deney tasarımı, faktörlerin hangi konfigürasyonunun dikkate alınacağına karar verilmesine yardım eden güçlü bir yöntemdir. Deney tasarımında her bir simülasyon çalışması, tasarlanması gereken bir “deney (experiment)” olarak değerlendirilir. Deney tasarımı terminolojisinde simülasyon girdi parametreleri ve simülasyon modeli ile ilgili yapısal varsayımlar “faktörler (factors)”; çıktı performans ölçüleri ise “cevaplar (responses)” olarak ifade edilir. Girdi parametre değerleri ve yapısal varsayımlardan hangilerinin simülasyon modelinde sabit olarak alınacağı, hangilerinin ise deneysel faktör olduğu simülasyon çalışmasının amacına bağlıdır (Kleijnen, 1998). Ayrıca, simülasyon çalışmalarında genellikle birçok farklı performans ölçüsünün dikkate alınması gerekir (Kleijnen, 2007). Simülasyon deneyleri tasarımında faktörler, genellikle aldığı değerlere bağlı olarak nicel ve nitel olmak üzere iki kategoriye ayrılır. Nicel faktörler, doğal olarak sayısal değerler alır ve genellikle girdi parametrelerini temsil eder. Nitel faktörler ise, sayısal olarak ifade edilemeyen değerler alır ve genellikle yapısal varsayımları temsil eder (Law, 2014). Örneğin, olasılık dağılım parametre değerleri nicel, herhangi bir alt sistemin detay seviyesi nitel bir faktördür. Deney tasarımı, simülasyon modelini girdileri çıktılara dönüştüren bir “karakutu modeli (blackbox)” olarak ele alır. Her bir simülasyon deneyi, simülasyon modeli faktörlerinin değiştirilmesini, simülasyonun koşturulmasını ve cevapların incelenmesini gerektirir. Tüm faktörler ve potansiyel seviyelerinin oluşturduğu her bir senaryo ise, deney tasarımı literatüründe çoğunlukla “tasarım noktası (design point)” olarak ifade edilir.
190
USMOS 2015 ODTÜ, ANKARA
2.2. Simülasyon Deneyleri Tasarımında Karşılaşılan Zorluklar Simülasyon modelinin geliştirme, doğrulama, geçerleme ve test süreçleri tamamlandığında sıra simülasyon modeli ile deneylerin tasarlanmasına gelir. Bu aşama, gerçek bir sistem ile yapılan deney tasarımına nazaran daha zordur. Bu aşamada genellikle karşılaşılan zorluklar aşağıda sıralanmıştır: Muhtemel faktör sayısının fazlalığı: Basit bir simülasyon modelinde dâhi dikkate alınması gereken birçok potansiyel faktör vardır ve bu faktörlerin birçoğu belirsizlik içerir. Bu faktörler üzerinde deneysel tasarım yöntemlerinin tamsayımının yapılması çok zor ve zaman alıcıdır. Birçok performans ölçüsü: Gerçek sistemleri modelleyen simülasyon sistemleri ile yapılan deneylerin amacı çoğunlukla birden fazla performans ölçüsünün beklenen değerinin incelenmesini içerir. Ayrıca, birçok simülasyon çıktısının aynı anda analiz edilmesi de gerekebilir. Karmaşık cevap yüzeyi: Simülasyon deneylerinde benzetimi yapılan sistemin temel karakteristiklerini ortaya koyabilecek basit bir metamodelin ortaya konulması kolay değildir. Zamanla değişen ve birbirine bağımlı çıktı değerleri: Simülasyonun bitişli veya bitişsiz olmasına dayalı olarak zamanla değişen ve birbirine bağımlı çıktı değerleri üretebilir. Bitişli simülasyon modelleri için eğer nadir olayların benzetimi yapılıyorsa sonuçların birbirine bağımlılık açısından dikkatli incelenmesi gerekir. Bitişsiz simülasyon modelleri için ise, ısınma periyodu uzunluğunun deneyler için gerekli toplam zamanı çoğunlukla etkilediği göz önüne alınmalıdır. Simülasyona özgü faktörler: Koşum uzunluğu, rassal sayı dizileri, ısınma periyodu uzunluğu, varyans azaltma teknikleri gibi simülasyona özgü faktörler simülasyon deneylerini daha karmaşık bir duruma getirir. Simülasyon deneyleri genellikle yukarıda belirtilen zorluklar ile karakterize edilir. Literatürde farklı kategorilerdeki deney tasarımlarının uygun olduğu durumlar tartışılsa da her türlü durum için uygulanabilir genel geçer bir deneysel tasarım yönteminin olmadığının vurgulanması gerekir. Simülasyon deneyleri yapılmasının amacı, doğrulama/geçerleme, duyarlılık analizi (sensitivity analysis / factor screening), “Eğer öyleyse (what if)” analizi, optimizasyon veya risk analizi olabilir. Simülasyon deneylerinin tasarımı yöntemlerinin seçiminde, bu amaçlardan hangisinin dikkate alındığı da dikkate alınması gereken önemli bir faktördür.
3.
DENEY TASARIMI YÖNTEMLERİ
İki veya daha fazla faktördeki değişikliğe simülasyon çıktılarının duyarlılığının (etkisinin) belirlenmesi için “her deneyde bir faktör (one-factor-at-a-time - OFAT)” yöntemi kullanılabilir. Ancak, OFAT yönteminin kullanılması doğru bir yaklaşım
191
USMOS 2015 ODTÜ, ANKARA
değildir, çünkü bu yöntemde faktörler arasında etkileşim olmadığı varsayılır ve simülasyon uygulamalarında çoğunlukla bu varsayım geçerli değildir (Law, 2014:258; Sanchez, 2005). Bu nedenle, her bir faktörün etkisinin ve faktörler arasındaki karşılıklı etkileşimin sistemli olarak ele alınabilmesi için istatistiksel deney tasarımı yönteminin kullanılması daha etkin ve etkili sonuç üretecektir. Deney tasarımı yöntemlerinden simülasyon uygulamalarında en yaygın kullanılan 3 adet tasarım yöntemi aşağıda sunulmuş ve uygulama çalışmasında da bu tasarımlar kullanılmıştır. 3.1. 2 Seviye (2k) Tam Faktöriyel Tasarım 2 Seviye (2k) tam faktöriyel tasarımlar, en yaygın kullanılan deney tasarımlarıdır. “2k” gösteriminde “k” faktör sayısını, “2” ise her bir faktörün seviye miktarını ifade etmektedir. Bu deneysel tasarım yönteminde faktörler ve faktör seviyelerine ilişkin tüm olası kombinasyonların tamamı dikkate alınır. Bu nedenle, faktör veya faktör seviyesi sayısındaki artış ile birlikte deney miktarı aşırı miktarda artar. Bu dezavantajı belirli bir oranda azaltmak için kesirli faktöriyel tasarımlar (2k-p) önerilmiştir. Gösterimdeki “p”, kesirli kısma karşılık gelmektedir. 22 (2 faktör) tam faktöriyel tasarımın grafiksel gösterimi Şekil 1’de verilmiştir. “-1” ve “+1” sırasıyla bir faktörün düşük ve yüksek seviyelerine karşılık gelmektedir. Bu nedenle, Şekil 1’de cevaplar köşelerde gösterilmiştir.
+1
Faktör A
-1
-1
+1 Faktör B
Şekil 1. 2k Tam Faktöriyel Tasarımın Grafiksel Gösterimi 3.2. Ortagonal Dizi Tasarımı Üç ve daha yüksek derecedeki etkileşimlerin etkisi genellikle önemsiz derecededir ve bu nedenle ihmal edilebilir. Bu kabul esas alınarak oluşturulan kesirli faktöriyel tasarımlardan birisi de sadece ana etkiler ve iki faktör etkileşimlerin etkisini dikkate alan “Ortagonal Dizi (Orthogonal Array)” tasarımıdır. Ortagonal Dizi tasarımlarının gösterimi şu şekildedir: La(bc). Bu gösterimde a, deney sayısını; b, faktör seviye sayısını; c ise, deney matrisindeki sütun sayısını ifade etmektedir. Taguchi tarafından 18 standart Ortagonal Dizi tasarımı geliştirilmesine rağmen bu tasarımların değiştirilerek kullanılması da mümkündür. Bu tasarımlardan hangisinin kullanılacağının tespiti için
192
USMOS 2015 ODTÜ, ANKARA
öncelikle faktör sayısı ve her bir faktörün seviyesinin belirlenmesi gerekir. Müteakiben de tahmin edilmek istenen iki faktör etkileşimlerin tespit edilmesi ve serbestlik derecesinin hesaplanması gerekir. Hesaplanan serbestlik derecesinden büyük olacak şekilde en az deney sayılı tasarım seçilir. Böylece yapılacak deney sayısı, eldeki problem için gerekli serbestlik derecesine eşit veya daha büyük olması sağlanmış olunur. Uygun tasarım seçildikten sonra bu tasarıma özgü Taguchi tarafından geliştirilen etkileşim tabloları ve doğrusal grafikler kullanılabilir. 3.3. Merkezi Kompozit Tasarım Simülasyon deneyleri tasarımında sıklıkla kullanılan diğer bir yöntem ise bir Cevap Yüzey Yöntemi (Response Surface Methodology) olan Merkezi Kompozit Tasarım (Central Composite Design – CCD)dır. 2k faktöriyel (factorial) ve 2k-p kesirli faktöriyel (fractional factorial) tasarımlar her bir faktörü sadece iki seviyede dikkate alır ve bu tasarımlarla sadece ana etkiler ile ikinci derece (second-order) etkileşimler tahmin edilebilir. Ancak, faktör aralıklarının ortasında simülasyonun cevabı ile ilgili bir bilgi sağlayamazlar. 3k faktöriyel tasarımlar ise, karesel etkilerin tahmin edilmesine imkân sağlar; ancak bu tasarımlar çok fazla deney yapılmasını gerektirir (5 faktör için 35 = 243). 2k faktöriyel / 2k-p kesirli faktöriyel ve 3k faktöriyel tasarımların bu sınırlılıklarının üstesinden gelmenin yolu CCD kullanılmasıdır. CCD, ikinci derece etkilerin tahmin edilmesinde yaygın olarak kullanılan etkin bir deney tasarımı yöntemidir. CCD’nin pratikte sık kullanılmasındaki ana neden; tüm ana etkilerin, 2 faktör etkileşimlerin ve doğrusal olmayan etkileşimlerin (curvature) aynı zamanda incelenmesine imkân sağlamasıdır (Montgomery, 2008). CCD, temel olarak faktöriyel, merkez ve eksenel olmak üzere üç bölümden oluşur. 2 faktörlü bir CCD’nin grafiksel gösterimi Şekil 2’de sunulmuştur. y
(0,1.414) (-1,1)
(-1.414,0)
(1,1)
Merkez nokta
(0,0)
(1.414,0) x
(-1,-1)
(1,-1) Eksenel nokta
(0,-1.414)
(-1,-1)
Şekil 2. Merkezi Kompozit Tasarım Grafiksel Gösterimi
193
USMOS 2015 ODTÜ, ANKARA
4.
SİMÜLASYON MODELİ
Bu bölümde üzerinde karşılaştırmalı olarak inceleme yapılan simülasyon modelinin yapısı ve geliştirme süreci açıklanmıştır. Geliştirilen simülasyon modeli temel olarak çeşitli optimizasyon yöntemleri kullanılarak oluşturulan havayolu ekip çizelgelerinin gerçek havayolu operasyonları esnasındaki dayanıklılığını (robustness) çeşitli temel performans göstergelerini esas alarak tahmin etmek amacıyla geliştirilmiştir. Havayolu operasyonları karmaşık ve dinamik bir yapıda olduğundan benzetiminin yapılması zor ve maliyetlidir. Tüm havayolu operasyonlarının yüksek doğruluk derecesinde bir simülasyon modeline aktarılması ise imkânsızdır. Dolayısıyla, havayolu operasyonlarının simülasyonu çalışmaları, karmaşıklık ile gereklilik arasında bir dengenin kurulmasına ve modelin amacı için yeterli seviyede detaya inilmesine ihtiyaç gösterir. Çünkü simülasyonun karmaşıklığı arttıkça tasarım, geliştirme, uygulama, doğrulama ve geçerleme süreci zorlaşacak, daha fazla zaman alacak ve maliyetleri artıracaktır. Çeşitli optimizasyon yöntemleri kullanılarak oluşturulan havayolu ekip çizelgelerinin arzu edileni ne kadar başaracağının ve bu çizelgeler uygulamaya konulduğunda operasyonel maliyetlere etkisinin ne derecede olacağının tahmin edilmesi maksadıyla geliştirilen kesikli olay simülasyon modeli “Dayanıklı Performans Simülasyonu (DAYPERSİM)” olarak adlandırılmıştır. DAYPERSİM ile çizelgelerin uygulanmasındaki dinamik etkileşimleri dikkate alan ve uygulama esnasında oluşabilecek aksaklıkların simülasyonunu yapabilen bir modelin geliştirilmesi hedeflenmiştir. DAYPERSİM temel olarak dört adımda geliştirilmiştir. İlk adımda, gerçek havayolu operasyonları bir sistem olarak ele alınarak havayolu ekip çizelgelerinin dayanıklılığının ölçülmesi amacı doğrultusunda sınırları belirlenmiş, sistem elemanları arasındaki etkileşim ortaya konmuş ve sistemin davranışı ile ilgili veriler toplanmıştır. Ayrıca, bu adımda simülasyon modeli ile ilgili varsayımlar ortaya konmuş ve girdi parametre değerleri tespit edilmiştir. İkinci adımda, herhangi bir programlama dilinden bağımsız olarak nesnel tabanlı tasarımı yapılmış ve kavramsal bir model oluşturulmuştur. Üçüncü adımda, oluşturulan kavramsal tasarım yüksek seviye bir programlama dilinde (C++) uygulamaya geçirilmiştir. Dördüncü adımda, modelin gerçeğe uygun veriler üretip üretmediğinin testi için deneme koşumları yapılmış ve doğrulama / geçerlemesi tamamlanmıştır. Bu dört adım sonunda, DAYPERSİM deneysel çalışmalar için hazır hale gelmiştir. 4.1. DAYPERSİM’in Yapısı DAYPERSİM, tek bir havayolu işletmesinin uçak ve ekip hareketlerinin benzetimini yapabilmektedir. DAYPERSİM, her bir bileşenin işlevinin bağımsız olarak tanımlanabilmesi ve kullanımda esneklik sağlaması amacıyla modüler bir yapıda
194
USMOS 2015 ODTÜ, ANKARA
tasarlanmıştır. Model, Benzetim Yöneticisi ve Benzetim Uygulaması olmak üzere iki ana modülden oluşmaktadır. Modüllerinin kavramsal yapısı Şekil 3’de sunulmuştur.
Olasılıklar ve Dağılımlar
Uçuş Tarifesi ve Uçak Rotası
Ekip Çizelgesi
DAYPERSIM Benzetim Uygulaması Modülü Uçak Modülü
Havaalanı Modülü
Ekip Modülü
Benzetim Yöneticisi Modülü Olay Çizelgeleme Modülü
Olay Listesi
Benzetim Yürütücüsü Modülü
Şekil 3. DAYPERSİM’in Modüler Yapısı
Benzetim Yöneticisi modülü, DAYPERSİM’in temelini oluşturmaktadır ve kesikli olay simülasyon sisteminin yönetilmesinden sorumludur. İlk Giren - İlk Çıkar (FIFO – First In First Out) kuyruk sistemine göre bir olay listesi tutulması, simülasyonun yürütülmesi, olayların çizelgelenmesi ve simülasyon saatinin takibi, bu modülün kontrolü altında icra edilir. Bu modülün içerisinde Benzetim Yürütme ve Olay Çizelgeleme olmak üzere iki alt modül bulunmaktadır. Benzetim Yürütme alt modülü, simülasyon saatine uygun olarak olay listesinde yer alan olayların sırasıyla icra ettirilmesinden sorumludur. Olay Çizelgeleme alt modülü ise, diğer modüller tarafından üretilen olayların çizelgelenmesi ve olaylar listesinin buna göre güncellenmesinden sorumludur. Benzetim Uygulaması modülü içerisinde ise, havaalanı, uçak ve ekip olmak üzere üç alt modül yer almaktadır. Benzetim Uygulaması modülü, Benzetim Yöneticisi ile “Benzetim Nesnesi” olarak adlandırdığımız ara yüzler ile iletişim kurar. Bu ara yüzler DAYPERSİM’in modüler bir yapıda olmasını sağlamaktadır. 4.2. Doğrulama / Geçerleme Çalışması Kavramsal modelin oluşturulan bilgisayar programına doğru şekilde aktarılıp aktarılmadığını ve DAYPERSİM’in tasarıma uygun olup olmadığını test etmek amacıyla, model doğrulanmaya çalışılmıştır. Simülasyon modelinin doğruluğuna, kurulan modelin alt modellerinin adım adım doğruluğunun test edilmesi ile
195
USMOS 2015 ODTÜ, ANKARA
başlanmıştır. Alt modellerin doğru çalıştığı gözlendikten sonra tüm modelin doğruluğu kontrol edilmiştir. Bu maksatla, gerçek bir veri seti elde edilmiş ve bu veri setinde yer alan uçuşlardan bir kısmı seçilerek oluşturulmuş ufak bir veri seti üzerinde model çalıştırılmıştır. Simülasyon kodu öncelikle fonksiyonel seviyede test edilmiş, müteakiben de tüm durumlarda doğru sonuçlar ürettiğinden emin olmak için değişik uçuş senaryoları oluşturularak test edilmiştir. Testler sonucunda, geliştirilen bilgisayar programının kavramsal modele uygun olarak çalıştığı görülmüştür. Literatürdeki çalışmalar incelendiğinde, simülasyon sistemlerinin geçerli olup olmadıklarının belirlenmesinde, görünüm geçerliliği (face validity) ve istatistiksel geçerlilik olmak üzere iki temel yöntemin kullanıldığı görülmektedir. Görünüm geçerliliğinde, geliştirilen simülasyon modelinin en azından görünüşte gerçeği yansıtıp yansıtmadığının tespiti yapılmaktadır. İstatistiksel geçerlilikte ise, geliştirilen simülasyon modelinden alınan veriler ile gerçek sistemden alınan verilerin nicel olarak karşılaştırılması yapılmaktadır. DAYPERSİM, modelin çıktıları ile gözlemlenen gerçek verilerin uyumluluğundan emin olmak için öncelikle görünüm geçerliliği yapılmış, müteakiben de istatistiksel tutarlılık testi ile geçerlenmiştir. Görünüm geçerliliği için, uzman bir personel tarafından simülasyon çıktıları ile gerçek veriden elde edilen bilgiler arasında bir fark olup olmadığı incelenmiş ve yapısal bir fark olmadığı tespit edilmiştir. Uzman personel, DAYPERSİM’in kabul edilen varsayımlar çerçevesinde arzu edilen ölçüde gerçekçi çalıştığını ve mantıklı sonuçlar ürettiğini teyit etmiştir. İstatistiksel tutarlılık testi ise, elde edilen veri setindeki gecikme değerleri ile simülasyon sonucu elde edilen gecikme değerleri karşılaştırılarak yapılmıştır. Uygulanan eşleştirilmiş-t (paired-t) yaklaşımı sonucunda % 95 seviyede güven aralığı [-7,132; 2,08] olarak bulunmuştur. Güven aralığı 0’ı içerdiği için DAYPERSİM’in istatistiksel olarak gerçek sistemin iyi bir temsili olduğu sonucuna ulaşılmıştır.
5.
UYGULAMA ÇALIŞMASI
Uygulama çalışmasında simülasyon deneyleri tasarımı yöntemleri kullanılarak simülasyon modelinin duyarlılık analizi yapılmıştır. Duyarlılık analizi ile DAYPERSİM’de beklenen performans göstergelerine en ciddi etkiyi yapan ve sistemin performansını etkileyen en önemli faktörlerin (girdi parametrelerinin) ve etkilerinin belirlenmesi amaçlanmıştır. Yapılan duyarlılık analizi çalışmasında benzetimdeki rassallığın kontrol altına alınabilmesi için, yapılan tüm deneylerde ortak rassal sayılar kullanılmıştır. Böylece, herhangi bir faktörün değiştirilmesi sonucu oluşan etkinin diğer değişikliklerin etkisi ile karışması engellenmiştir. Deney tasarımında incelenen benzetimin cevapları (performans göstergesi, çıktısı) uçuşların “tam zamanında varış (TZV) oranı” ve “toplam gecikilen süre”dir. Deney tasarımı çalışmasında öncelikle tasarım parametreleri (faktörleri) ve aralıkları (faktör
196
USMOS 2015 ODTÜ, ANKARA
seviyeleri) belirlenmiştir. Benzetimin ana faktörleri ve seviyeleri, Tablo 1’de sunulmuştur. Tablo 1’de görüldüğü gibi A, B, C, D ve E olarak kodlanan 5 faktör belirlenmiştir. Belirlenen faktörlerden üç adedi (A, B, C) simülasyon modelinde yer alan girdi parametre değerlerine karşılık gelmektedir. A ile kodlanan “Maliyet-etkinlik kısıtındaki sabit değer”, havayolu ekip çizelgeleri optimizasyon yöntemleri kullanılarak oluşturulurken maliyetten hangi oranda ödün verilebileceğini temsil eden bir katsayıyı ifade etmektedir. Sırasıyla B ve C ile kodlanan “Büyük/küçük şehirler için maliyet katsayıları” ise, havayolu ekiplerinin büyük veya küçük bir şehirde konaklamaları durumunda katlanılacak farklı maliyet değerlerine karşılık gelmektedir.
Tablo 1. Faktör Kodlaması Faktör Kodu
Faktör Tanımı
Faktör Seviyeleri -1
1
A
Maliyet-etkinlik kısıtındaki sabit değer
0,4
0,8
B
Büyük şehirler için maliyet katsayısı
30
80
C
Küçük şehirler için maliyet katsayısı
15
40
D
Benzetimin uzunluğu (hafta)
6
10
E
Benzetimin koşum sayısı
600
800
Deneysel çalışmada simülasyon modeli ile her bir deney tasarımı yöntemi kullanılarak deneyler yapılmış ve elde edilen regresyon istatistikleri karşılaştırılmıştır. 2 Seviye (2k) Tam Faktöriyel Tasarımda tüm ana etkiler ve iki faktör etkileşimler dikkate alınmıştır. Ortagonal Dizi Tasarımda serbestlik derecesini karşılayan en az deney sayılı tasarım olan L81(340) Taguchi tasarımı seçilmiş ve tasarıma özgü Taguchi tarafından geliştirilen etkileşim tabloları ve doğrusal grafikler kullanılmıştır. Uygun bir CCD’nin oluşturulması için ise her birisi iki seviye olan faktörlere merkez (0 sütunu) ve eksenel (-2 ve 2 sütunları) sütunları eklenmiştir (Tablo 2). CCD ile Tam Faktöriyel ve Taguchi Ortogonal Dizi tasarımlarına oranla deney sayısı önemli derecede azdır. Tasarlanan CCD, L16 Taguchi tasarımı (kesirli faktöriyel tasarım), merkez ve eksenel noktalardan ve toplam 27 tasarım noktasından oluşmaktadır. Bu simülasyon ile tasarım matrisinde yer alan her bir faktör kombinasyonu ile toplam 27 deney yapılması anlamına gelmektedir. Oluşturulan CCD tasarım matrisinin genel gösterimi Şekil 4’te verilmiştir.
197
USMOS 2015 ODTÜ, ANKARA
FAKTÖRLER 1 2 . . 16
Faktoriyel Kısım (L16 Taguchi Tasarımı)
17
Merkezi Kısım
18 19 . . 27
Eksenel Kısım
Şekil 4. Merkezi Kompozit Tasarım Tablo 2. CCD için Faktör Kodlaması Faktör Kodu
Faktör Seviyeleri
Faktör Tanımı
-2
-1
0
1
2
A
Maliyet-etkinlik kısıtındaki sabit değer
0,2
0,4
0,6
0,8
1,0
B
Büyük şehirler için maliyet katsayısı
10
30
50
80
100
C
Küçük şehirler için maliyet katsayısı
5
15
25
40
50
D
Benzetimin uzunluğu (hafta)
4
6
8
10
12
E
Benzetimin koşum sayısı
500
600
700
800
900
Deney sonuçlarının değerlendirilmesinde ve ilgili faktörlerin etkilerinin incelenmesinde ana faktör etkileri, etkileşim etkileri ve regresyon analizi kullanılmıştır. Regresyon analizi için Microsoft Excel 2013 Data Analysis ve Solver modülleri kullanılmıştır. Regresyon analizi istatistikleri Tablo 3’te verilmiştir. Tablo 3. Regresyon Analizi İstatistikleri Yapılan Yöntem Deney Adedi TFT
243
ODT
81
CCD
27
(R Square)
Düzeltilmiş R Kare Değeri (Adjusted R Square)
TZV oranı
0,9882
0,9554
A, D, A2, D2
Toplam gecikilen süre
0,9984
0,9687
A, D, D2
TZV oranı
0,9673
0,9461
A, D, A2, D2
Toplam gecikilen süre
0,9758
0,9578
A, D, D2
TZV oranı
0,9462
0,8976
A, D, A2, D2
Toplam gecikilen süre
0,9674
0,9152
A, D, D2
Cevap
R Kare Değeri
Etkin Parametreler (p
