张衡是南阳西鄂人，小时候他家很穷，吃顿饱饭都是难事。这种艰苦的生活，没有磨灭他的心性，反而让他刻苦好学，奋发向上，从小就博览群书，为他后期的大放异彩打下坚厚的基础。后来他到了西京长安，后来又进了京城洛阳的太学，在太学里日夜苦读，成为了很有学问的学者。
张衡二十三岁那年回了家乡，在南阳太守底下做事，一面操办政务，一面从事文学创作，曾经花了十年的时间，写出文学著作《东京赋》和《西京赋》，合称《二京赋》。《二京赋》描写了长安和洛阳的繁华景象，揭露了贵族的腐朽寄生生活，写得很出色，当时得到了很多人的赞赏。
公元110年的时候，张衡进京做了郎中，后来又做了太史令，主要做观测天象的工作。其中他做太史令的时间最久，前后有十余年。在这段时间，他潜心钻研天文历算，终于在此方面取得了卓越的成就。
当时有一种比较先进的天文学说，叫浑天说。浑天说认为天是浑圆的，天像蛋壳，地像蛋黄，在天的中间，日月星辰都在蛋壳上不停转动。
公元110年，张衡进京担任郎中，后来又担任太史令，主持观测天象的工作。他做太史令最久，前后有十余年。他专心钻研天文历算，终于在这方面取得了卓越的成就。这个浑天仪利用水力来转动，当时人们在屋子里观看仪器，就可以知道哪颗星从东方升起，哪颗星从西方落下。
而最让张衡出名的，是地动仪。地动仪是用铜制成的，形状像酒樽，内部中间竖着一根粗大的柱子，柱子的周围有八根横杆连接在外面，外面有八条龙，龙头朝下，按八个方向排列，龙嘴里各衔着一个小铜球，下面蹲着八只张嘴的蟾蜍。
如某一方向发生地震，柱子就倒向那个方向的横杆，那个方向的龙嘴就吐出铜球，落到蟾蜍嘴里。
这样，人们就可以知道什么方向发生地震了。公元138年，地动仪西边一个铜球掉下来，表示西方发生地震。但当时洛阳的人没有感觉到，大家怀疑地动仪是否准确。不久，陇西派人来报告，就在地动仪龙头吐球那天，那里发生了地震。
张衡在学术方面的成就是多方面的，除了浑天仪、地动仪，他还发明了测定方位的候风仪，制成了当时只是在传说中有过的指南车。
在数学方面，他算出了圆周率比10的平方根3.16多一点。在地理学方面，他绘制有地形图。在艺术方面，他是东汉著名的画家。在文学方面，除了前面提到的《二京赋》，他还写过很多作品，在我国文学史上占有一定的地位。
只可惜那个时候的宦官势力很大，张衡经常受到排挤，最后被调离京城，虽然在六十一岁的时候又调回京城，但没两年他就病死了。