सबक › एडवांस्ड ट्रैक › आउट-ऑफ-सैंपल, वॉक-फॉरवर्ड और मोंटे कार्लो
वर्ल्ड 10 · एडवांस्ड ट्रैक · सबक 12
आउट-ऑफ-सैंपल, वॉक-फॉरवर्ड और मोंटे कार्लो
अपने आइडिया को उस डेटा पर टेस्ट करें जो उसने कभी नहीं देखा, और इसके ट्रेड्स को शफल करें यह देखने के लिए कि बुरी किस्मत कितनी बुरी हो सकती है।
एक लाइन में
आपके बैकटेस्ट ने एक रास्ता दिखाया। उन्हीं ट्रेड्स की हजार अलग-अलग क्रम में क्या दिखेगा?
आसान भाषा में
पिछले साल के एग्जाम पेपर से पढ़ना ठीक है, लेकिन असली टेस्ट वो पेपर है जो आपने कभी नहीं देखा। आउट-ऑफ-सैंपल टेस्टिंग (out-of-sample testing) कुछ डेटा को उस अनदेखे पेपर की तरह छिपा कर रखती है। अपने ट्रेड्स को शफल करना ऐसा है जैसे सीजन को अलग क्रम में दोबारा चलाना ताकि देख सकें कि हारने की लड़ी कितनी खराब हो सकती है।
सबक
आउट-ऑफ-सैंपल टेस्टिंग (out-of-sample testing) डेटा के एक हिस्से को अछूता रखती है जब नियम बनाए जा रहे हों, फिर अंत में एक बार उस पर टेस्ट करती है, उदाहरण के लिए लगभग 70% डेटा पर बनाना और 30% को फाइनल टेस्ट के लिए रखना। वॉक-फॉरवर्ड टेस्टिंग (walk-forward testing) इसे चरणों में दोहराती है: एक विंडो पर ट्यून करें, अगली पर टेस्ट करें, फिर आगे बढ़ें। मोंटे कार्लो सिमुलेशन (Monte Carlo simulation) ट्रेड रिजल्ट्स को हजारों बार फिर से शफल या रीसैंपल करता है ताकि संभावित ड्रॉडाउन्स और स्ट्रीक्स की रेंज दिखा सके, न कि सिर्फ वो एक रास्ता जो हुआ था। अगर रिजल्ट्स आउट-ऑफ-सैंपल में गिर जाते हैं, तो इन-सैंपल एज शायद नॉइज़ को फिट कर रहा था।
एक उदाहरण
उदाहरण: दस साल के डेटा को इस तरह बांटा गया कि 10 x 70 / 100 = 7 साल नियम बनाने के लिए उपयोग किए गए और आखिरी 3 छिपे रहे। इन-सैंपल में, नियम ने औसतन +0.30R प्रति ट्रेड बनाया। छिपे हुए सालों में इसने 60 ट्रेड्स किए, 24 जीत +1.8R पर और 36 हार -1R पर: 24 x 1.8 - 36 x 1 = 7.2R, या 7.2 / 60 = 0.12R प्रति ट्रेड। एज 0.30 - 0.12 = 0.18R गिर गया, इसका 0.12 x 100 / 0.30 = 40% बचा। उन 60 ट्रेड्स को 1,000 बार रीशफल करने पर हर बार वही 7.2R टोटल मिला, लेकिन सबसे खराब 5% ऑर्डरिंग में सबसे गहरा ड्रॉडाउन 13.2R या उससे ज्यादा पहुंच गया, जबकि जो क्रम वास्तव में हुआ उसमें 9R था।
एक ही बात, चार लेवल पर
- कुछ डेटा को छिपा कर रखें जब आप स्ट्रैटेजी बना रहे हों, फिर अंत में एक बार उस पर टेस्ट करें।
- इन-सैंपल डेटा (in-sample data) बनाने के लिए है, और आउट-ऑफ-सैंपल डेटा (out-of-sample data) अनदेखा फाइनल एग्जाम है।
- वॉक-फॉरवर्ड टेस्टिंग (walk-forward testing) एक विंडो पर ट्यून करती है, अगली पर टेस्ट करती है, फिर आगे बढ़ती है और दोहराती है।
- इन और आउट-ऑफ-सैंपल में एक्सपेक्टेंसी (expectancy) की तुलना करें, क्योंकि बड़ी गिरावट का मतलब है कि नियम नॉइज़ के लिए ट्यून किए गए थे, और फाइनल टेस्ट से पहले आउट-ऑफ-सैंपल डेटा पर हर झलक चुपचाप उसे इन-सैंपल डेटा में बदल देती है।
- मोंटे कार्लो रीशफल्स (Monte Carlo reshuffles) का उपयोग बैड-लक टेल के लिए साइज़ करने के लिए करें, जैसे कि सबसे खराब 5% ड्रॉडाउन्स, न कि सिंगल बैकटेस्ट पाथ के लिए, क्योंकि भविष्य अतीत के सटीक क्रम को दोहराएगा नहीं।
ये गलतियाँ मत कीजिए
- नियम बनाते समय आउट-ऑफ-सैंपल डेटा को देख लेना।
- भविष्य से उम्मीद करना कि वो उसी एक बैकटेस्ट रास्ते को फॉलो करेगा जो आपने देखा।
- हर बदलाव के बाद फाइनल टेस्ट को तब तक दोबारा चलाना जब तक अच्छा न दिखे।
खुद को जाँचिए
आउट-ऑफ-सैंपल डेटा (out-of-sample data) क्या है?
बनाते समय छिपा कर रखा गया डेटा, फाइनल टेस्ट के लिए. यह अनदेखा एग्जाम पेपर है।
वॉक-फॉरवर्ड टेस्टिंग (walk-forward testing) क्या करती है?
एक विंडो पर ट्यून करती है, अगली पर टेस्ट करती है, फिर आगे बढ़ती है. यह समय के साथ बिल्ड-फिर-टेस्ट को दोहराती है।
मोंटे कार्लो रीशफल (Monte Carlo reshuffle) क्या दिखाता है?
ड्रॉडाउन्स और स्ट्रीक्स की रेंज जो वही ट्रेड्स पैदा कर सकते हैं. वही ट्रेड्स, कई संभावित क्रम।
10 साल के 70/30 स्प्लिट के साथ, कितने साल आउट-ऑफ-सैंपल हैं?
3. 10 साल का 30% यानी 3 साल।
इन-सैंपल +0.30R और आउट-ऑफ-सैंपल +0.12R प्रति ट्रेड। एज का कितना हिस्सा बचा?
40%. 0.12, 0.30 का 40% है।
Read in English: Out-of-sample, walk-forward and Monte Carlo