В MXNet все участники процесса обучения поделены на 3 логические группы: планировщик (scheduler); сервер (server); рабочий (worker); Это чисто логическое распределение, так что все участники могут работать на одной машине. Подробнее читайте здесь: https://habrahabr.ru/post/334968/