Škola „Jovan Jovanović Zmaj“ počela je sa radom 1. septembra 1988. godine. Do pomenutog datuma škola je radila kao izdvojeno odeljenje OŠ „28. Novembar“. Odlukom izvršnog saveta SO-e Novi Pazar bivša zgrada SIZ-a zapošljavanja dodeljena je školi „28. Novembar“, koja je adaptirana za potrebe škole. Kao izdvojeno odeljenje, škola je počela sa radom 1. februara 1986. godine sa šest učionica. U toku leta 1988. godine dograđeno je još pet učionica. Tako je škola, odlukom Skupštine SIZ-a obrazovanja, počela da radi kao samostalna škola, školske 1988/89. godine, pod imenom „25. Maj“. OŠ „25.Maj“ počela je sa 28 odeljenja i to 15 mlađih i 13 starijih, ukupno 950 učenika i nastavnim kadrom od 38 radnika. Škola je od samog početka radila u tri smene, što je u skučenom prostoru otežavalo realizaciju vaspitno-obrazovnog rada. Odlukom Školskog odbora i na osnovu mišljenja Izvršnog odbora SO-e Novi Pazar, škola je od 04.06.1993. god. promenila naziv „25 Maj“ u OŠ „Jovan Jovanović Zmaj“. Tokom početka školske 1994/95. god. školi je u vlasništvo preneto zemljište za dvorište, asfaltiran je teren na površini od 800 m2 na kome je izgrađen sportski teren.
U prethodnih nekoliko godina škola je rekonstruisana: izvršena je zamena prozora, vrata, fasada je obnovljena i zamenjeni su podovi sredstvima donatora iz MSP-programa švajcarske ambasade, PRO-programa i opštine. Sredstvima opštine saniran je suteren škole i sanitarni čvorovi.
Paralelno sa rekonstrukcijom škole obnovljen je kancelarijski nameštaj, klupe, stolice i nabavljena su nastavna sredstva . Najvećim delom sredstva su dobijena učešćem u različitim projektima UNDP-ja, MercyCorps-a, PRO-programa.
U školskoj 2010/11.god. na preporuku Grada Novog Pazara, Izvršni odbor aerodroma “Nikola Tesla“, donirao je školi tri kompjutera P4. Ministarstvo prosvete je doniralo 31 monitora za digitalnu učionicu. Unika osiguranje je doniralo dva kasetofona; jedan za nastavu muzičkog vaspitanja i jedan za Odeljensko veće drugog razreda.
U okviru DILS projekta Ministarstva prosvete, škola je dobila sledeće:
– dvodnevnu obuku- Inkluzivno obrazovanje IOP
– studijsku posetu-model skoli
– dva laptopa, multifunkcionalni uređaj, kopi-aparat i bim projektor
– multisoft ediciju
– deo literature Kreativnog centra, rukohvate, renoviranje dela školskog wc-a
– nastavna sredstva
Ministarstvo rada i socijalne politike obezbedilo je aparat KSAFA-M za učenike sa posebnim potrebama, a učenici 7 razreda, koji su učestvovali u projektu „Ekologija bez granica“, sredstvima grada su nabavili zavese za kabinet biologije i hemije, i cveće za iste učionice. Sredstvima Grada u školi je urađena panična rasveta.
Ukupan učenički prostor na nivou škole je 0,75m2 po učeniku što zadovoljava 45% u odnosu na normativ. Obzirom da ova škola radi u tri smene onda je po smenama stanje bolje i zadovoljava normativ prostora od 75-90%.