Comment Faire Un Backtest ? - Forex Forum

je ne comprends pas vos raisons de vouloir faire tourner votre système à la main puisqu'il a été automatisé et qu'il est profitable selon votre backtest mais qu'importe après tout c'est votre décision. Il me semble malgré tout qu'un automate de money management et de gestion des trades indépendant ferait le travail tout aussi bien.... peut être mieux même qui sait?

mais j'ai compris... pas la peine de polémiquer sur le sujet.

Bonne continuation

Attention cher Ulysse, ne pas confondre backtester et automatiser, ce sont encore une fois deux choses differentes, mais peut-etre n'est ce la qu'un lapsus.

Pourquoi trader a la main, en manuel, un systeme deja backteste et qui est profitable ?

Bonne question a laquelle j'ai deja repondu. J'ajouterai cependant que comme les patterns gagnants que je recherche sur les charts me prennent a peine 10 a 15 secondes a trouver visuellement, et comme les time frame que j'utilise me permettent de voir venir ces patterns de loin, bien longtemps a l'avance, alors je n'eprouve nullement le besoin d'automatiser mon systeme pour le faire rouler en automatique.

Secondo il y'a aussi le PLAISIR d'ouvrir ses trades soi meme et de les regarder ensuite vous ramener du ble, tick par tick. C'est un peu comme aller dans un pub pour s'enfiler quelques bieres par exemple. Surement si je vous proposais de vous injecter directement par intra-veineuse l'equivalent de 5 bieres et de vous envoyer ensuite chez vous vous refuseriez, meme a supposer que ce soit possible medicalement, car alors ou serait le plaisir de s'ennivrer tranquillement avec ses ami(e)s, n'est ce pas ?

Eh bien avec mon trading c'est pareil, je suis de la vieille ecole et j'aime bien passer mes commandes moi meme, manuellement, par nostalgie sans doute aussi, vous me suivez ?

Mais bien sur le jour ou je trouverai un nouveau systeme encore plus performant mais qui m'obligerait a ouvrir et fermer 10 positions differentes toutes les 15 minutes, alors la pas de probleme, il faut passer en trading auto, ca c'est clair.

This post has been edited by Zembla: Sep 18 2009, 22:11

NON et NON Ulysse enfin, automatiser un systeme et backtester un systeme c'est deux choses totalement differentes !!!

Je peux backtester un systeme sans jamais l'automatiser, comme je peux tester l'efficacite d'une lessive sans jamais acheter de machine a laver pour faire ma lessive.

Bien que les deux operations (backtester et automatiser) fassent appel a l'ordinateur, elles different radicalement dans leur modalite et leur finalite. Backtester je peux le faire en Basic, en Pascal, en Cobol, en Fortran, en C, en C++, en EasyLanguage, en MT4 (metatrader), etc...

Je backteste pour verifier l'efficacite d'un systeme, POINT.

Automatiser c'est l'etape suivante, c'est le bonus si vous voulez, la cerise sur le gateau, bien que cette etape soit purement optionelle. Automatiser c'est prendre votre systeme et l'installer sur un logiciel qui lui va ouvrir/fermer vos positions automatiquement, en argent demo ou reel. Il est certes possible de backtester et d'automatiser un systeme sur la MEME plateforme, comme Metatrader, mais cela ne change rien, car backtester un systeme et l'automatiser demeurent deux fonctions distinctes.

Je vous rappelle que les backtests existaient bien avant que des logiciels d'automatisation des systemes ne fassent leur apparition.

Voici a titre d'exemple un de mes tous premiers backtests en C++ :

#include <iostream.h>
#include <fstream.h>
#include <stdlib.h>
#include <iomanip.h>
#include <conio.h>
#include <stdio.h>
#include <string.h>
#include <io.h>
#include <ctype.h>
#include <alloc.h>
#include <dos.h>
#include <math.h>

void ReadData();
void ResetValue(void);
void CalculateMaxMin(void);
int FindPattern1(void);
int FindPattern2(void);
void DisplayData(void);
void DisplayFirstInput(void);
int ProcessUp();
int ProcessDown();
void Fractal1(void);
void Fractal2(void);
int PivotPoint((void);
int limit;

long *datek = new long[600];
int *timek = new int[600];
int *opek = new int[600];
int *hitek = new int[600];
int *lotek = new int[600];
int *clotek = new int[600];

ifstream file1("c:\\gbpusd.txt");
ofstream outres("c:\\resfile.txt");
ofstream outsupp("c:\\suppfile.txt");
int last, k, max, min, count, timex, op, hi, lo, cl, hours, trade, timemax, timemin;
long date1;


void main()
{

if (file1.fail())
{
cerr << "ERROR: Unable to open input file, exiting...\n"; exit(1);
}

....

Et ca continue comme ca sur 250 lignes.

merci zembla.

maintenant j'ai ma réponse..... enfin je devrais dire : cette fois j'ai compris!

La confusion vient à mon avis de Metatrader ou TradeStation par exemple ou dans ce cas produire le code du backtest revient à la même chose qu'automatiser. Mais le backtest peut en effet être mené à part sur un simple ficher txt, CSV ou une base de données perso.

effectivement la confusion venait de là.


Admettons toutefois qu'après l'étape backtest la moitié du chemin est fait.... il ne "reste plus" qu'à bâtir le module de communication avec le serveur afin de transmettre les ordres au marché. Pour un informaticien ce n'est pas la partie la plus ardue il me semble.

Il serait très intéressant justement de comparer la performance manuelle et la perf de l'automate en condition de réel sur la même période.

En fait cher Zembla votre cas est formidable. car

1) vous avez une stratégie gagnante
2) elle est backtestée
3) elle est automatisable
4) vous avez les compétences pour le faire
5) vous pouvez le faire sans divulguer votre secret de fabrique ( ce qui est absolument légitime et même souhaitable)

On peut donc enfin mesurer les résultats d'une même stratégie menée en automatique et menée manuellement.

Je suis étonné que vous n'ayez pas eu cette curiosité

This post has been edited by Ulysse: Sep 19 2009, 14:41

Beaucoup de traders, peu ou pas du tout informes au sujet des backtests (comme Jctrader, mais qui pourtant n'en perd pas une pour nous donner des lecons la dessus), s'imaginent que les backtests ne servent a rien car il ne "predisent" que le passe, pas le futur.

Evidemment dire que les backtests marchent uniquement dans le passe est une enorme anerie, proferee par des gens qui ne connaissent strictement rien a la maniere dont les backtests sont (et doivent etre) menes.

On veut aussi faire croire aux gens que les resultats d'un backtest se mettront tout de suite a "differer" (c'est a dire gagneront beaucoup moins ou perdront carrement) quand on soumet le systeme a des donnees live, ce qui est une enorme anerie de plus.

En fait voici ce qui se passe et c'est ma demarche personnelle : le backtesteur prend les donnees de 2000 a 2009, soit presque 10 ans de donnees, a 3 mois pres . Ensuite il backteste son systeme avec les donnees de 2000 a 2004 (soit 5 ans) et observe si le systeme est gagnant. Si il est gagnant alors le testeur teste son systeme avec des donnees qu'il n'a jamais "vues", c'est a dire les donnees de 2005 a 2009. Si le systeme demeure toujours gagnant et genere a peu pres le meme profit moyen par trade ou par jour, alors le trader a l'assurance mathematique que son systeme est bel et bien performant et qu'il possede un avantage statistique indeniable.

Donc de 2000 a 2004 nous avions le PASSE du systeme, et de 2005 a 2009 nous avons le FUTUR du systeme, c'est a dire le resultat que nous aurions obtenus en trading live, apres bien sur avoir deduit le spread et le leger slippage, dans les deux cas. Et a propos de slippage je ferai remarquer qu'un slippage peut marcher dans les deux sens, il peut aussi bien etre positif que negatif, ce qui fait qu'a la longue il devient quasi nul, les slippages positifs annulant les slippages negatifs.

Maintenant a la question de savoir pourquoi je ne fais que backtester mes systemes sans les automatiser aussi, outre les raisons donnees dans les posts precedents, une me semble de taille : je ne fais pas confiance aux logiciel qui ouvrent/ferment mes positions automatiquement, car rien n'empeche alors le concepteur du logiciel (et meme mon broker) de decouvrir alors les regles de mon systeme. Oh ils affirment qu'on peut crypter un systeme pour que personne n'en sache les regles mais meme la je ne fais pas confiance, des programmeurs vraiment determines pourront toujours decrypter le systeme tot ou tard.

Bref, quand il s'agit de pognon, je n'ai pas confiance en la nature humaine.

Cher Zembla,

Mes questions pour insistantes qu'elles soient ne visent en aucun cas à polémiquer mais témoignent simplement de ma curiosité et d'un certain goût pour la précision..... quand bien même l'imprécision viendrait plus de mes propres confusions que de l'imprécision de vos explications.

La méthodologie de backtest que vous exposez est un classique. Rien à dire. C'est parfait. C'est du connu et reconnu. Une partie backtest ( apprentissage pour les IA) une partie test aveugle avec des données non vues. OK.

Sur la partie automatique certaines choses m'échappent encore.
Je conçois fort bien que vous n'ayez pas envie de programmer votre système en MT4.... pour des raisons de confidentialité. On sait bien que le broker pourrait avoir le moyen de voir le code.

Cependant si votre système tourne sur une plateforme indépendante, conçue par vous, et communiquant avec le broker via une DLL ou une API... Je ne vois pas comment il pourrait lire ce fameux code. D'autant plus si votre plateforme est un (.exe)

Pourquoi parlez vous du concepteur du logiciel??????????????? Il me semble que si vous avez les compétences pour coder un backtest en c++ vous avez les compétences pour écrire l'automate. La partie communication -client-serveur- n'est pas la partie la plus complexe pour un développeur de votre niveau. J'imagine que vous savez parfaitement écrire une dll ou vous servir d'une API.

Donc si vous êtes le concepteur de l'automate et que vous en avez les compétences... Cela élimine une trahison possible d'une tierce personne.

Nous parlons ici d'automate....... pas d'un expert advisor MT4.... Et dans mon esprit cela ne peut se faire que sur une plateforme indépendante. Personnellement je ne conçois pas la chose autrement.

C'est pas la peine d'aller chercher tradestation ou autre chose. On prends un compilateur c++ ( borland ou autre) ou java ( éclipse)ou autre langage encore, et on code son automate. ensuite on fait communiquer son automate et pour se faire on développe le module communication.

Mais encore une fois si on est capable de développer un backtest en c++ c'est donc que l'on a un module de développement de ce langage... et donc de développer l'automate de la même façon.
D'ailleurs il me semble qu'un développeur aura un certain plaisir voire une fierté à élaborer lui même son module plutôt que d'aller coder son automate dans mt4.( en qui je n'ai aucune confiance pour ce qui est des automates)


enfin voilà

Il reste que le test automate versus trading à la main serait intéressant......



Il reste encore un moyen de le faire à postériori...........;


Prenons la période des 3 ou 6 ou 12 derniers mois sur les paires que vous travaillez....... et comparons le backtest sur cette période au trading réel à la main de cette même période.....

C'est un pis aller mais c'est au moins le début de quelque chose de tangible.

Je vous l'ai dit je ne suis pas informaticien mais je suis têtu en ce qui concerne mon désir de comprendre..... en la matière cela ne me dérange pas de passer pour un couillon.

This post has been edited by Ulysse: Sep 21 2009, 9:43

on en revient toujours au même
y a que le discrétionnaire de vrai

Pour l'instant on n'en sait rien puisque l'on n'a pas fait d'étude comparative.

Je ne tiens rien pour vrai ou faux tant que je n'en n'ai pas la preuve.

This post has been edited by Ulysse: Sep 21 2009, 9:48

Pour les curieux voici un lien qui vous donnera une liste des principaux compilateurs c++ disponibles gratuitement ou payant.

Pour java il y a éclipse également.

http://cpp.developpez.com/outils/

Sur le même lien et en visitant les onglets en haut de page vous trouverez également quantités de bibliothèques utiles à vos projets de développements.

vous trouverez même des bibliothèques pour explorer le monde du neuronal voire de l'IA

Il y a également des forums d'échanges et des tutoriels d'apprentissage

This post has been edited by Ulysse: Sep 21 2009, 11:05

Oui bien sur, surtout quand on a jamais teste l'auto. Mais surtout gardez vos convisctions car c'est grace a vous que les traders auto peuvent exploiter des biais.

Une remarque par rapport a ceux qui a ete dit sur MT4. L'EA est en local sur votre machine. Il ne tourne pas sur le serveur de votre broker. Donc si nous supposons qu'il veut s'amuser a vous le voler, il faudrait qu'il modifie la plateforme pour qu'elle puisse envoyer secretement vos fichiers. Perso, mon experience me dit qu'ils n'ont pas que ca a faire.

Certaines choses se font, mais croyez moi, les trader autos et discretionnaires sont dans le meme sac... Et c'est amusant de savoir que ce qui se fait n'est par contre jamais imagine par les traders amateurs paranos. Ils ont beaucoup mieux a faire (et en toute legalite) que voler des EAs (le risque en vaut il la chandelle?) de particuliers non adaptes aux institutionnels et aux volumes qui s'y rapportent.

Effectivement, je ne vois pas bien quel serait l'intérêt d'aller piquer des EA de croisement d'indicateur ou de régression linéaire quelconque........

mais si l'on prend en compte l'aspect parano et qu'au pire MT4 pouvait envoyer secrètement les données perso alors pour rassurer notre ami Zembla je suggérais de développer le robot sur une plateforme autonome puisqu'il en a les compétences.
Ainsi pourrait il controler l'intégrité de son secret.

Pour ma part je pense que les automates ont de beaux jours devant eux..... C'est simplement l'évidence

Oui c'est tout a fait possible aussi pour ceux qui se debrouillent en programmation. D'ailleurs, ca permet de passer outre les limites des plateformes et de faire tout ce que l'on veut. Par exemple on peut utiliser IB comme broker et flux et utiliser son API pour communiquer avec a partir d'Excel ou tout autre programme perso (avec tous les langages possibles). Entre IB et un broker utilisant Metatrader, il ya pas fotos... mais il faut avoir suffisemment de fonds pour y ouvrir un compte.

"Je dis simplement que les backtests sont basés sur des données historiques et que demain ne ressemble jamais tout à fait à hier..."

Il a toujours rien compris lui, ou il fait semblant de ne pas comprendre juste pour me faire sans cesse repeter. Mais c'est quoi historique au juste, du passe ? Je teste un systeme de 2000 a 2004, soit 5 ans "d'histoire". Ok je te l'accorde, la c'est de l'histoire. Mais ensuite, je prends les donnees de 2005 a 2009 pour valider mon systeme. Mais la ce n'est plus de l'histoire, la c'est du FUTUR. La c'est comme si on se mettait a trader live depuis le premier Janvier 2005 a Aout 2009. Et si le systeme performe toujours de la meme facon, sans grande dispersion dans les profits et les drawdowns, alors la on peut etre SUR qu'on tient un gagnant.

De plus, mettons que tu commences a trader un systeme en livre depuis Septembre 2009. Donc pour toi Septembre 2009 et les mois suivants c'est du live. Ok, mais en Janvier 2010, un trader qui fait un backtest jusqu'a 31 decembre 2009 pourra alors dire, a juste titre : "Mais non, Septembre 2009 a Decembre 31 c'est de l'historique, je regrette !" Comme tu vois, ce que toi tu appelles du live devient a son tour de l'historique.

Alors, qu'est ce que c'est que de l'historique et qu'est ce que c'est que du live, puisque le "live" n'est que de l'historique en gestation ?

Capiche ?

"C'est sans doute pour cela que, bien qu'affirmant avoir une stratégie gagnante, backtestée et automatisable ...tu te refuses à faire de l'automatique !!!!!!!!"

Je ne refuse rien, je dis simplement que mon systeme est tellement simple que je peux trouver un signal d'achat/vente rien qu'a regarder n'importe quel chart en 10 a 15 secondes. Si je te donne les nombres suivants 150, 49, 204 et que je te dise de me montrer le plus petit, tu ferai ca les doigts dans le nez, n'est ce pas ? Il ne te viendrait certainement pas a l'idee d'automatiser un programme juste pour qu'il te donne le nombre le plus petit, non ?
Eh bien c'est pareil pour mon systeme, il est tellement visuel et simple que les signaux je les trouve en quelques secondes, pas besoin de machine pour me les montrer. La machine m'a juste permis de tester mon systeme, le reste est tellement simple que je peux le faire tout seul.

"Donc malgré toutes ces années d'effort , soit tu fais finalement du discretionnaire"

Sans vouloir aucunement offenser personne, je laisse le trading discretionnaire aux petits plaisantins. Je ne dis pas que trader en discretionnaire ne marche pas mais il faudrait etre fou pour risquer des milliers d'euros ou dollars sur un "systeme" qui n'a pas au prealable demontre son efficacite au dela de tout doute, sur une longue periode. C'est ce que font pourtant la majorite des traders, avec leur mentalite de tradons d'abord on verra bien ensuite ce que ca donne. C'est comme monter dans un petit avion et dire "decollons d'abord on verra bien ensuite s'il y'a un parachute pour moi dans l'appareil"

En fait pour un moi est discretionnaire c'est tout simplement quelqu'un qui ne veut pas ou ne sait pas backtester son "systeme". A moins bien sur que son "systeme" ne soit tellement subjectif que tout test serieux devient impossible.





Superbe mon cher Nvitale, ca fait plaisir de lire ca, et ca prouve que vous avez tout compris a ce jeu du trading forex (et futures), qui n'est en somme qu'un enorme casino ou les plus malins gagnent l'argent des moins malins !

Ecoutez cher Zembla je ne vous demande pas grand chose

juste de comparer le backtest versus votre trading systématique manuel sur la même période de juillet2008 à aujourd'hui sur les paires que vous travaillez habituellement.


voilà c'est simple.

admettons que les résultats de backtest et du trading réel soient présentés de façon analogue à une présentation mt4

Voici le canevas de présentation dans lequel j'ai oublié le pay off ratio

de cette façon on pourrait comparer ce qu'aurait fait un automate à ce que vous avez fait.

avouez que c'est simple.


Je suis comme Thomas. Je voudrais des preuves de ce que vous dites. Vous répondez toujours à côté. ou vous éludez dès qu'une question est embarrassante.


Si vous avez une meilleure présentation, ce dont je ne doute pas étant donné votre niveau d'expertise, n'hésitez pas. Je ne perdrai rien de la leçon que vous ne manquerez pas de me donner. Merci à vous

signé scarabé

This post has been edited by Ulysse: Sep 21 2009, 20:12

Mais n'est ce pas precisement ce que je fais, en vous donnant les signaux de mon systeme depuis maintenant plus de 2 mois ?

Maintenant si le backtest differe de mes resultats live durant cette periode ? Oui, de 13 pips exactement, en faveur de mon trading live, puisque bien entendu le spread moyen que je fournis a mon programme C++ differe tres legerement de temps a autre de celui de mon broker (spread variable), en plus ou en moins. A la longue cependant ce differentiel backtest/live-trading devient totalement insignifiant par rapport aux resultats.

Maintenant c'est curieux, je ne vous vois jamais demander le backtest aux autre membres de Mataf, qui sont pourtant au moins 10 fois plus anciens que moi. Je ne vous vois jamais demander le backtest de Jctrader, de Odinho, de Betino ou d'Arnaud par exemple (bien que ce dernier a au moins l'immense courage de publier ses signaux quotidiennement, avec tous les risques de reputation et de credibilite que cela peut comporter).

Non, c'est toujours on veut voir les backtests de Zembla et pas ceux des autres. Curieux quand meme cette fixation

1)Simplement parceque vous nous parlez de backtest à longueur de temps et que vous semblez faire la leçon. ( soyez certain que je considère cette question de backtest de système avec sérieux)

2) cet exercice représenterait une synthèse.

3) cette étude montrerait un protocole et serait à ce titre fort intéressant pour les débutants comme pour les plus expérimentés

4) Je vous le demande à vous car vous semblez en avoir l'expertise

5) supposons que vous ayez à convaincre un patron de banque.... vous lui diriez d'aller décortiquer vos posts sur mataf afin d'avoir la preuve que votre approche est super backtestée?????

6) non je suppose que non. Vous montreriez un document synthétique ( sans divulguer votre méthode bien entendu) afin d'accroitre sa curiosité et lui donner les éléments nécessaire à son jugement. éventuellement vous montreriez une analyse comparative automate versus exécution manuelle du même système.... à supposer que le monney management soit identique dans les deux cas.

7) cela aurait l'avantage de raccourcir les discussions

8) de centrer la discussion sur un élément tangible

9) par ailleurs un petit graphique de temps en temps permettrait de mieux voir..... puisque votre méthode est visuelle

10) Vous dites oui... c'est bien vous le faites. Vous ne le faites pas... alors je ne vois pas qui ni comment vous allez convaincre


bon trades

Je publie depuis 2003, tout est donné, point d'entrée de sortie... Il n'y a que le money management qui n'est pas fournit mais ça va venir d'ici quelques jours. Je ne donne pas l'évolution du compte pour la simple raison qu'il y a des longues périodes pendant lesquelles je ne trade pas malgré quelques signaux publiés, il y a des jours ou j'ouvre de nombreux trades intraday sans publier les signaux et la taille de mes positions étant très variable le résultat ne représente rien vu que tout le monde veut un nombre de pips, donnée que je n'ai pas.
De plus je n'ai jamais prétendu avoir un système gagnant d'ailleurs je communique le plus souvent pendant les périodes de pertes. J'ai un objectif de formation pour les visiteurs et d'amélioration du trading pour moi.

Si on te demande des backtests c'est que tu affirmes avoir un système qui ne peux pas perdre, que tu parles de backtests à longueur de post sans que personne en ai vu la queue d'un.
Dans une lointaine époque durant laquelle je m'intéressais aux backtests les discussions théorique sur l'efficacité ou non des tests sur les historiques ou en live m'importaient peu, le vrai point intéressant c'est le retour d'expérience des traders qui traitent sur les marchés avec des résultats similaires aux backtests. Quelles sont les erreurs à éviter ? par exemple une erreur de base est de prendre position sur l'open d'un bougie alors que le signal est donné par cette même bougie... Quel est l'impact du slippage ? Comment gérer une coupure de flux ?
Voilà les questions à aborder. Ce n'est pas en répétant à l'infini que tu as un système qui fait 7 pips par jour que tu arriveras à convaincre tous ceux qui travaillent sur le sujet depuis souvent plusieurs années.

Parce qu'il y a bien longtemps que j'ai passé le stade des backtests, c'est comme le stade "pipi-caca" il faut y passer mais y rester trop longtemps ça vire à la pathologie. Après 13 ans de trading Actions/Devises je n' éprouve plus non plus de besoin de reconnaissance.
Je rejoins JCTRADER, je ne trade pas aujourd'hui comme je tradais hier pour la simple raison que nous sommes sur un magma en perpétuel mouvement, je me contente de me caler sur les cycles passés quand ils sont récurrents et j' ajuste tous les trimestres parce que nécessaire.

saison printemps/été (6 mois) : 21 pips en moyenne, profit factor 4,84 , avec 87 % de trades gagnants.




maintenant si tu veux jouer les cadors avec tes 7 pips ça ne me pose aucuns soucis, au contraire ça me fait bien sourire.

This post has been edited by betino83: Sep 22 2009, 18:18

Je ne joue a rien du tout et je n'ai rien a vendre, on est juste la pour echanger des idees de trading forex.
Cela dit tu publies tes resultats sur 6 mois, mais l'information cruciale que tu omets est celle ci : quel est le nombre total de pips que ton systeme a genere au bout de ces 6 mois ?

PS: je ne te savais pas grand amateur de systemes de roulette (comme moi d'ailleurs), Marigny de Grilleau, Van Bockstaele et autres, si tu vois ce que je veux dire...