他在四十二岁得了风痹疾，半身不遂，活动不便，一只耳朵也聋了。他忍受着疾病的折磨，躺在床上坚持看书。疾病经多方调治，效果不佳，皇甫谧深深感到，人“有八尺之躯。而不知医事“，“不精通于医道”，也“无济于事”。
    从此，他潜心医学，集中精力研究针灸。先从理论上进行探索，弄清针‘灸的一般道理，然后在自己身上进行试验。有的穴位刺不到，就叫儿子方回帮忙，鼓励儿子大胆进针。经过反复实践，不仅用针灸治好了自己的一部分疾病，还熟悉了人体针灸穴道的部位。
    他感到晋以前的针灸医书深奥难懂，错杂重复，就决定重新编著一部针灸学专著。由于参考书奇缺，给编纂工作带来了很大困难。皇普谧设法借来了需要的医书，穷搜博采，收集了大量的资料。他将古代三部著名的医学典籍《素问》、《灵枢》、(明堂孔穴针灸治要》纂集起来，删其浮词，除其重复，论其精要，并结合自己的临床经验，终于写就我国历史上第一部针灸专著——《针灸甲乙经》。
    该书在理论上强调：“上工治未病”，亦即当今所倡导的预防为主、未病先防的医学思想。它还对针灸用针之形状制作、针灸之禁忌、针灸经络、孔穴部位之考订、针灸的临床适应症、针灸操作方法，以及临床经验的总结等进行了系统的论述。
    此书被后人称为“中医针灸学之祖”。一千六百多年来，它为针灸医生提供了临床治疗的具体指导和理论根据。除此之外，他还著有《帝王世纪》、《高士传》、《逸士传》、《烈女传》、《郡国志》等书。他是西晋的一位才子、名士，被公认为是著名的文学家、史学家、医学家、教育家和诗人，史书称之为“高人”。
    《针灸甲乙经》传到国外，受到各国，特别是日本和朝鲜的重视。公元701年，在H本法令《大宝律令》中明确规定把《针灸甲乙经》列为必读的参考书之一。足见，皇甫谧的《针灸甲乙经》影响之深远。