Агнеш — еврейка, родилась в Будапеште 9 января 1921 года. Еще будучи ребенком, Келети страстно мечтала стать всемирно известной гимнасткой, однако эти планы разрушила война, которая превратила в кошмар ее жизнь и жизнь ее семьи.
Отец будущей чемпионки, как и все евреи, был отправлен в Освенцим, где и ушел из жизни из-за голода. Самой Агнеш, ее матери и сестре повезло: им помог скрыться шведский дипломат Рауль Валенберг, которому удалось спасти жизни тысяч евреев.
Несколько мучительных лет Келети была вынуждена жить по чужим документам и изображать из себя христианку, работая служанкой в симпатизирующей нацистам семье. Чтобы избежать вынужденных трудовых работ, Агнеш фиктивно вышла замуж за своего коллегу-гимнаста Иштвана Шаркани. А во время сражений в Венгрии в 1944–1945 годах Келети собирала тела погибших для того, чтобы поместить их в братскую могилу.