Fils de Christophe de Harlay, seigneur de Beaumont (aujourd'hui commune de Beaumont-du-Gâtinais), président à Mortier du Parlement de Paris, et de Catherine Du Val.

En 1558, il devient conseiller au parlement de Paris.

Le 30 mai 1568, il épouse Catherine de Thou, fille de Christophe de Thou, Premier président du parlement de Paris, avec qui il aura un fils, Christophe de Harlay. En 1572, il reprend l'Office de son père comme président à mortier au même parlement, que celui-ci avait résigné le 30 août 1572. À la mort de son beau-père Christophe de Thou, en 1582, Henri IV le nomme Premier président du parlement de Paris.