Capital Fund Management (CFM) est un gestionnaire de fonds quantitatif qui emploie 110 PhD dans ses Ă©quipes de recherche et oĂč 75% des effectifs Ă©crivent du code. Dans cet Ă©pisode enregistrĂ© au AWS Summit Paris, Julien Lafaye (directeur) et Otmane El Ansary (associĂ©) nous expliquent comment ils ont migrĂ© leur plateforme de calcul CFM Graph depuis leur infrastructure on-prem vers AWS. CFM Graph permet aux chercheurs de dĂ©finir des graphes d'exĂ©cution oĂč chaque noeud est une fonction Python. L'architecture repose sur API Gateway, Lambda et DynamoDB pour le control plane, avec AWS Batch pour l'exĂ©cution des calculs. La plateforme scale jusqu'Ă  100 000 vCPU et traiter des graphes gĂ©nĂ©rant jusqu'Ă  80 TB de donnĂ©es en output. L'Ă©quipe utilise massivement les instances Spot (80-90% des calculs de recherche) pour optimiser les coĂ»ts. On dĂ©couvre les dĂ©fis rencontrĂ©s : gestion des quotas Lambda et DynamoDB, rate limiting S3 sur les requĂȘtes LIST, allocation des coĂ»ts par utilisateur sur des instances partagĂ©es, et la nĂ©cessitĂ© de former les chercheurs aux spĂ©cificitĂ©s du cloud. L'Ă©pisode aborde aussi leur approche hybride permettant aux graphes de s'exĂ©cuter partiellement on-prem et sur AWS pendant la migration.

Avec Julien Lafaye, Directeur, CFM ; Avec Otmane El Ansary, Software Engineer, Associate, CFM

Capital Fund Management (CFM)

How CFM built a well-governed and scalable data-engineering platform using Amazon EMR for financial features generation

AWS Summit Paris 2025 - Construire une plateforme de traitement de donnée innovante avec AWS (YouTube)

Directed acyclic graph (Wikipedia)

Slurm Workload Manager - Documentation