Yaśovarman Ier abandonna Rolûos pour installer sa nouvelle capitale (Yaśodharapura) près de la colline (phnom) sur laquelle a été élevé le Phom Bakeng pour honorer simultanément Śiva et le roi-dieu. Celui-ci est le prototype des temples-montagnes khmers, pyramide à 5 étages ponctués de 109 tours dont 5 de taille imposantes qui représentent le mont Meru, séjour d'Indra, le roi des dieux, et les quatre sommets environnants. Le temple était alors le centre d'une ville délimitée par un talus en terre de forme carée et de 4 km de côté.

La construction du temple commença probablement à la fin du IXe siècle (après l'avènement de Yaśovarman I^er en 889). La colline fut arrasée et une douve extérieure au pied de la colline fut creusée. Quatre gopuras permettaient de pénétrer sur le site et quatre escaliers monumentaux en partaient pour gravir la colline. Les escaliers sont disposés à la façon habituelle des temples hindous, suivant l'orientation des points cardinaux. Les divinités du temple furent consacrées en 907 et le nom de Yaśodhareśvara (« le Seigneur de Celui qui porte la gloire ») lui fut donné ; le temple perdit son statut de temple d'État en 928 et fut de nouveau réutilisé pour une brève période en 968.

À proximité de ce temple fut établi le bārāy oriental (Yaśodharatatāka) pour maîtriser l'irrigation nécessaire à l'approvisionnement de la ville.

Seuls les gradins subsistent aujourd'hui avec quelques restes du sanctuaire qui le couronnait. Le Phnom Bakeng accueille beaucoup de touristes au soleil couchant car on peut alors y voir la façade ouest d'Angkor Vat inondée de soleil.