赵翼的先祖是宋代宗室，到了他的祖父尚且为官儒林郎，后家道开始中落。他的父亲赵惟宽，字子容，以设塾授业为生。赵翼自六岁起，即随父亲就读于外。十二岁为制举文，一日能成七艺，人皆奇之。乾隆六年（1741年）他的父亲在一家姓杭的大户家教书时去世。赵翼孤苦伶仃，无以养弟妹。杭家怜悯他，遂留他继承父业，继续教书。当时他仅15岁。十九岁入府学，成为秀才。在此后的数年中，他一直应聘为富家课徒。
乾隆十四年（1749年），私塾职被解雇，饥寒驱迫他离家北上，投奔作幕于京城的亲戚。时年二十三岁。抵京后，赵翼以其文才受知于刑部尚书兼翰林院掌院学士刘统勋。刘文正公延至家，纂修《国朝宫史》三十六卷。该书后来在乾隆三十五年完稿出版。
翌年秋，他在顺天乡试中一举克捷，中乾隆庚午科北榜举人，又考中明通榜。由于主考官汪由敦的器重，自同年冬起，赵翼在结束《国朝宫史》的编写之后，又被聘入汪氏幕署。汪氏家中富于藏书，加以汪由敦本人深于文学，又极爱赵才。积以日月，赵翼的诗文修养不觉大进。在此期间，赵翼虽在会试中败北，但仍然以文理畅通而先后考取礼部教习、内阁中书。
乾隆二十一年（1756年），入直军机。此时正值清廷兴兵征计西北准噶尔，军事文书往返频繁，为赵翼崭露头角提供了良机。尹文端公、傅文忠公咸倚重之。其扈从行在，或伏地草奏，下笔千言，文不加点，一切应奉文字，几非君不办。
乾隆二十六年（1761年）成进士。殿试拟第一，高宗以清代陕西未有元，因取第三，卷互易，即王文端也。授翰林院编修。担任方略馆纂修官撰文，修《通鉴辑览》。京察一等后，记名以备用为道员知府。乾隆二十七年（1762年），在顺天府乡试任同考官。乾隆二十八年（1763年），赵翼出任会试同考官。乾隆三十年（1765年），出任顺天武举主考官。
乾隆三十一年（1766年）冬，出任广西镇安知府。到任后，他视察全境。当时因购马补济滇军，有关部门改用大筐代替旧小筐收敛粮食。百姓怨声载道。赵翼允许改回旧筐纳粮，改变了常平仓谷出轻入重的弊端。同时对横征暴敛的监仓奴和书吏严加惩处，制定了各种利民的改革措施。镇安百姓感激涕零。后奉特旨，赴滇筹划与缅甸的战事。乾隆三十四年（1769年），重返广西镇安府原任。
乾隆三十五年（1770年），调守广州知府。获海盗一百八人，按律皆当死，乃条别其轻重，戮其魁，馀多遣戍。乾隆三十六年，经调部引见，赵翼任贵州贵西兵备道道员，任上，他查处两铅厂谋私利造成亏空的大小官员。改任贵西道经历，他又除掉短缺工资运费的多种弊端。
乾隆三十七年，上司知道他在云南参予过缅甸之役的军务，略次建功之际，在广州平海盗处理的谳大狱旧案事发，赵翼受弹劾被交部议而降级。乾隆三十八年，奉旨被吏部引见时，他以老母年事高为由，告假回乡，不再复出为官，朝廷准允辞官。
乾隆四十五年（1780年）五月，他取道山东赴京，打算在宦海竞渡中再决雌雄。行至台儿庄，忽患风疾，双臂不能自主，他只好向命运屈服，掉头南归。从此开始了长达三十余年的归隐生涯。
乾隆五十二年（1787年），台湾发生林爽文事件，闽督李侍尧征台湾，道常州，邀请赵翼入幕商研。赵翼出谋划策，指出：靠省钱成功晚，反不如多花费用，给足军需，早些攻克成功，反而省钱。台湾林爽文起义因而被镇压平息。李侍尧奏明皇上，想要启用赵翼。赵翼坚决辞官，既归，复以著述自娱。主讲安定书院。往来常苏间，所至名流倾倒，传写诗篇，江左纸贵。与钱塘袁枚、铅山蒋士铨齐名，如唐之“元、白”，合称“江右三大家”。而君高才博物，既历清要，通达朝章国典，尤邃于史学，非袁、蒋所及也。存诗近五千首，以五言古诗最有特色，亦为“毘陵七子”之一。赵翼与袁枚、张问陶（船山）合称“乾嘉性灵派三大家”。
家居数十年，手不释卷。所撰《廿二史札记》三十六卷，钩稽同异，属辞比事；其于前代弊政，一篇之中三致意焉。又撰《陔馀丛考》四十三卷、《檐曝杂记》六卷，虽未逮《日知》《养心》，并足为多闻之助。其馀《皇朝武功纪盛》四卷，亦征史才。所为诗，无不如人意所欲出，不拘唐宋格律，自成一家。有集五十三卷。又《唐宋十家诗话》十二卷。
嘉庆十五年（1810年），重赴鹿鸣宴，赐三品冠服。
嘉庆十九年（1814年）卒，享年八十六。
