字子回，泾州（今甘肃泾川）人。开元十年召入翰林，兼集贤院校理(集贤院为唐文学三馆之一，掌秘书图籍等事，设学士、正字等官)，侍太子及诸王为文章，官及正议大夫(为文散官名，唐时为二十九阶之第六，正四品上)。吕向曾官迁中书舍人(为中书省署官，掌诏诰、侍从、署敕等，唐时为正五品上)，后改工部侍郎。卒，赠华阴太守。
新唐书载：“（吕向）工草隶，能一笔环写百字，若萦发然，世号‘连锦书’。”
唐朝开元年间，经济繁荣，政治升平，进入盛世，唐玄宗把朝中最著名的文人才子挑选出来封为“十八学士”。其中一位就是吕向。
吕向出生前父亲去他乡多年不归，人们都以为早客死他乡了。吕向少时母亲死了，他不知祖坟在哪里，请来巫师招引父魂和母亲合葬。
吕向由外祖母养大后，立志学习，边卖药边读书，通晓古今，能一笔环写百字，世号“连锦书”。 开元十年（722年），被召入翰林，在集贤院校理书籍并教皇子学业。李隆基要派人到各地挑选美人，充入后宫，他上奏《美人赋》以讽。李隆基接受他的批评，升他左拾遗。
李隆基多次到渭川打猎，扰民误朝政。吕向又进奏左补阙加以规劝。李隆基认为他讲的对，就令石匠把左补阙刻写在山岳中的石头上引以为戒。
李隆基赐弓矢让进京朝见的吐蕃酋长射禽，他上奏了“鸱枭不鸣，未为瑞鸟；豺虎虽伏，弗曰仁兽。况突厥安忍残贼，莫顾君父，陛下震以武义，来以文德，势不得不廷，故稽颡称臣，奔命遣使。陛下引内从官，陪封禅盛礼，使飞矢于前，同获兽之乐，是狎昵太过。或荆卿诡动，何罗窃发，逼严跸，冒清尘，纵醢单于，污穹庐，何以塞责？”名言，李隆基又一次采纳了上奏，下诏蕃夷出仗。后来，升迁他为主客郎中，专门侍候皇太子。
他和吕延济、刘良、张铣、李周翰为《文选》作注解，号《五臣注》。
吕向为官后，多年寻访父亲并无消息，有一日他下朝归来，遇见一位长像酷似自己的老人，一问果然是父亲。他下马抱着父亲的脚大哭起来，感动的行人也为之落泪。李隆基听后也很感叹，就封吕向父亲一个闲职－朝散大夫，赐给彩锦，让内府的乐工奏乐给他散心。吕向父亲卒后，朝廷赠他东平太守称号。吕向守葬归来，李隆基改迁他为中书舍人，工部侍郎。吕后死后，获赠华阴太守。
