他隐迹深山,修身悟道,并在天目山周围数十里内设坛讲道,声名远播。后来,他从浙江沿淮河、黄河、洛水,在洛阳之北的北部山中-三年,功效大进,已能心意合一,洞察五腹。汉永元元年(公元89年),汉和帝刘启任命他为太傅。三次征召,均不接受,将奉旨大夫戏弄后扬长而去。游历途中,收下江州人王长为徒,二人在深山之中苦炼神丹。终因道行不深,百次不成,便携王长一路控询,先后在桐柏太平山、贵溪云锦山-九天神丹。后有范阳赵升千里寻师,追寻而至,在赵升、王长的协助下,终将九天神丹炼成。自神丹炼成之后,云锦山中时有龙、虎之影出现,故而人们将云锦山改称为“龙虎山”。此山现在江西省贵溪县境的西南部,成为当地名胜。山东南八里有一山村,名为“上清镇”,张陵的后世子孙便世居于此,再未回丰。