Артур родился в 1899 году в городе Золочев подо Львовом; через десять лет Феллиги перебрались в Нью-Йорк. Огромная семья жила почти впроголодь, поэтому в 14 лет Артур бросил школу и устроился работать помощником в фотостудию. Работать приходилось по десять часов в день, платили копейки, зато теперь он знал все о камерах, проявке и печати.

Сменив еще несколько низкооплачиваемых работ, в 18 лет Артур Феллиг решил, что пора «заняться собственным бизнесом». На оставшиеся деньги он купил подержанную камеру, взял в аренду пони и по выходным гулял по улицам Ист-Сайда, поджидая родителей с детьми. Видя принаряженного по случаю субботы ребенка, он хватал его, сажал на пони, недолго катал, а потом делал фото и записывал адрес родителей. Напечатав снимки, он обходил все адреса. «Люди любят своих детей, и неважно, насколько они бедны, — они все равно платили мне за фото, — писал Феллиг в своих воспоминаниях. — Мне кажется, в Ист-Сайде не было ни одного дома, где на каминной полке не стояла бы хоть одна моя фотография с пони».

Но потом зарядили дожди, и Артур целый месяц просидел без работы. Скудные сбережения закончились, и платить хозяину пони стало нечем. Феллиг купил игрушечный автомобиль в попытке заменить им пони, но дети Ист-Сайда это ноу-хау не оценили.