Posakis „atpirkimo ožys“ kilo iš senovės žydų tradicijos. Atpirkimo dieną žydai išrinkdavo du ožius: vieną aukodavo Dievui, o kitam išpažindavo nuodėmes, o šis dykumoje turėdavo atpirkti kitų nuodėmes.