Изобретателем пазлов принято считать Джона Спилсбури, который в XVIII веке в Англии, будучи членом Королевского географического общества, наклеил черно-белое изображение с картой Англии и Уэльса на фанеру и распилил её на части по границам графств с целью разнообразить уроки географии для своих учеников. В 1766 году эта карта была выпущена под названием «Карта Англии и Уэльса, разделенная на графства».
Джон Спилсбури получил патент на своё изобретение и открыл торговлю деревянными пазлами, магазин он назвал «Картографы и резатели карт на дереве». Его порезанные на фрагменты деревянные карты становятся новым учебным пособием по географии. В течение следующих двух лет Д. Спилсбури разрабатывает аналогичные карты Европы, Азии, Америки, Ирландии и Шотландии. Один из таких географических пазлов находится в Британском Музее.
До начала XIX века пазлы использовали как учебное пособие. Подходящие друг к другу картинки не скрепляли, а просто клали на основу. В конце XIX века дорогую деревянную основу заменили на более дешёвый картон.
В 1909 году в США было открыто первое фабричное производство пазлов со скрепляющими частями. На сегодняшний день принцип производства практически не изменился. Мотив, напечатанный на картоне, нарезается с помощью перфоратора на множество маленьких кусочков.