라이브 A/B 테스트 실행¶

이 가이드는 별도의 계정에서 서로 다른 설정으로 동일한 cBot을 배포하고 나란히 실행한 다음, AI 에이전트에게 결과를 비교하고 어느 설정이 우수한지 알려달라고 요청하는 방법을 보여줍니다.

1. 테스트할 항목 선택 ¶

비교하려는 항목을 결정하세요. 서로 다른 매개변수 값, 서로 다른 지표, 서로 다른 심벌 또는 이들의 조합을 테스트할 수 있습니다.

Show me the metadata for C:\test\moving-average-bot.algo so I 
know what parameters I can change.

이 예에서는 cBot에 SMA 및 EMA와 같은 값을 허용하는 IndicatorType이라는 매개변수가 있다고 가정합니다.

2. 변형 A 시작 ¶

한 계정에서 첫 번째 구성을 시작하세요.

Start C:\test\moving-average-bot.algo on account 1234567, EURUSD H1 
with IndicatorType set to SMA and Periods set to 20.

3. 변형 B 시작 ¶

다른 계정에서 두 번째 구성을 시작하세요.

Start C:\test\moving-average-bot.algo on account 7654321, EURUSD H1 
with IndicatorType set to EMA and Periods set to 20.

이제 두 cBot이 동일한 심벌에서 동시에 실행되지만 서로 다른 지표 설정을 사용하며, 각각 자체 계정에서 실행되므로 결과가 완전히 분리됩니다.

4. 실행하도록 두기 ¶

에이전트에게 테스트 기간을 알려주고 다시 확인하도록 요청하세요.

Let both bots run for 5 hours, then tell me which one was more 
profitable.

에이전트는 지정된 기간 동안 대기한 다음 두 인스턴스의 로그와 거래 결과를 읽습니다.

5. 결과 비교 ¶

테스트 기간 후 자세한 비교를 요청하세요.

Compare both runs side by side: number of trades, win rate, total 
profit, maximum drawdown and average trade duration. Which 
configuration performed better overall?

에이전트는 두 계정의 데이터를 가져와 구조화된 비교를 제시하므로 각 변형이 성공하거나 어려움을 겪은 부분을 정확히 확인할 수 있습니다.

6. 더 깊이 파고들기 ¶

결과가 비슷하면 에이전트에게 더 미묘한 차이를 찾도록 요청하세요.

Did one configuration handle volatile periods better than the other? 
Were there times when one was profitable and the other was losing?

If I had run both configurations for a full trading day instead of 
5 hours, which one would you expect to come out ahead and why?

7. 성능이 낮은 변형 중지 ¶

명확한 우승자가 나오면 성능이 저조한 구성을 종료하세요.

Stop the cBot running on account 7654321.

8. 우승자 확장 ¶

우승 구성을 더 광범위하게 배포하세요.

Now start the same cBot with the SMA configuration on account 
7654321 as well, on GBPUSD H1 with the same parameters.

참고

라이브 계정에서의 A/B 테스트는 실제 시장 조건을 사용하므로 백테스트만 하는 것보다 비교가 더 신뢰할 수 있습니다. 그러나 두 계정 모두 실제 거래를 실행하고 있습니다 — 재정적 위험 없이 테스트하려면 항상 데모 계정을 사용하세요.