Эли Коэн родился 26 декабря 1924 года в Египте, в религиозной еврейской семье. Образование получил во французском лицее и в религиозной школе «Мидрешет Рамбам»; позже поступил на электротехнический факультет Университета имени короля Фарука I, но был отчислен за сионистскую деятельность.

В 1949 году семья Коэна репатриировалась в Израиль. Эли остался в Египте под предлогом продолжения учебы, но 1956 году был сочтен неблагонадежным и выслан из страны. Оказавшись в Израиле, тут же подал заявление на поступление в «Моссад», но получил отказ: на счету Коэна уже было задержание в Египте по делу о шпионаже, и, хотя ему удалось выпутаться из этой истории благодаря отсутствию улик против него, разведчику такая известность была ни к чему. Поэтому Коэн некоторое время проработал скромным бухгалтером в сети универмагов, пока к нему не проявили интерес сотрудники военной разведки «Агаф ха-Модиин». Уже оттуда Эли был переведен в «Моссад».