Første gang man støder på navnet er tilbage i 1309. Den gang som Baldrop. Senere ændret til Balderup og til sidst Ballerup.
Ballerup blev, som så mange andre landsbyer ødelagt under svenskerkrigen 1658-60.

Oprindeligt bestod Ballerup af 24 gårde, 60 - 70 byhuse samt kirke, skole og kro. I 1771 boede der 22 gårdmænd i byen, desuden var der præstegård og dommergård, hvor birkedommeren boede.

Fysisk havde byen form som en firkant, hvor hjørnerne udgjordes af Nygaard, Dommergaard, Baunegaard og Lindegaard.

I 1683 blev smørum, Ølstykker og Sokkelund Herred sammenlagt til ét birkedommerembede med hjemsted i Ballerup. Fra 1683 og frem til 1803 blev alle retssager i Københavns Amts afgjort i Ballerup. I dag ligger Ballerup Byret på Blegdamsvej i København.