张国焘投靠了国民党，蒋介石当然要发挥这个叛徒的作用。张国焘原指望在国民政府中捞个大官，没想到蒋介石把他交给戴笠，要他去军统“帮忙”。戴笠得到张国焘，大喜过望。凡是吃喝应酬都带着张国焘去充门面。就这样，张国焘从叛徒又堕落了一步，成为军统的“特种政治问题研究室”主任，当了特务。戴笠的酒席是不能白吃的。张国焘做了军统的人，就得为特务组织卖力。他向戴笠提出要办训练班，教国民党特务如何打进共产党内部搞策反和破坏。戴笠满口答应，要钱给钱，要人给人。第一期开办时，有各地挑选来的一百多人。张国焘给他们讲共产党的情况，给他们分析研究打入共产党内部，骗取信任。然而真正运用起来，却完全不是那么回事。张国焘派几个特务拿着他的亲笔信去边区策反，这些家伙都是有去不回。张国焘白忙了半天，让戴笠赔钱又赔人，特务们对张国焘讲的那套空理论也都很不耐烦。在无可奈何之下，短命的训练班办了两期就停掉了。

国民党特务是很实惠的，他们需要叛徒就是想得到确切的情报。张国焘的军统，不断有特务来找他了解情况，让他提供共产党地下组织的具体线索。这使张国焘非常尴尬，他是想当领袖和大官的人，当这种“眼线”未免太掉价。说实话，中共地下组织的具体情况，他也不可能知道。他尽其所知回答特务的提问，仍然不能满足对方，逼得他只好躲到同乡蔡孟坚家，竟说是来“避难”。

如果说张国焘一点作用没起，也冤枉他。几年中还是有几个人投靠了他。一个是何畏，他看到张国焘逃跑了，想想自己是张国焘的亲信，怕将来没好下场。于是向中央请假去西安治病。何畏到了西安就叛变投敌，没想到国民党不相信他，把他关起来审问了半年，张国焘知道后求戴笠帮忙，何畏才来到重庆见张国焘。二人相见后，何畏“大哭大悔”，说是失去了大批部队归向的机会。过了两年，原红33军参谋长朱德崇，在冀鲁豫军区当了团级干部，因搞腐化被人发现，就叛变投了张国焘。

张国焘在军统待了几年，光吹牛不见实效。戴笠也看透了这块“宝贝”，据他的经验，张国焘在共产党内已经批倒批臭，谁也不会再跟他走了。于是张国焘渐渐受到冷落，日子一天比一天难过。蒋介石对共产党的叛徒是很鄙视的，他曾对戴笠说：对共产党叛变过来的人，只能利用，不能亲近。因为他们能叛变共产党，有朝一日也会叛变我们。戴笠又把蒋介石的话传达给部下，所以，军统特务们也看不起张国焘，时不时给他穿小鞋、找岔子，原来给他的优厚待遇也渐渐消失了。

抗战胜利后，戴笠因飞机失事丧命，郑介民接管军统，进行内部变动和裁员。张国焘在军统混不下去，以同乡关系去找当时任国民党中央设计局局长的熊式辉。熊式辉又把张推荐给行政院善后救济总署署长蒋廷，委任张国焘出任善后救济总署江西分署的署长。也是张国焘命中注定，当时的江西省主席王陵基正是他的冤家对头。王陵基原是四川军阀，当年在通南巴地区被红四方面军打得狼狈不堪。刘湘不仅撤了王陵基的职，琮把他拘禁数月。王陵基现在与张国焘共事，处处刁难张国焘，对张常加非礼，有意排挤。仅仅两三个月，张国焘就干不下去了。这一连串打击使张国焘情绪低落，每天在家中找几个朋友打麻将混日子。张国焘辞职后，移居上海。

1948年年底，随着辽沈战役的结束和平津、淮海两大战役的深入展开，国民党兵败如山倒，全面崩溃已成定局。军统头子毛人风秘密安排后事。他指示手下特务，凡事共产党的叛徒，都要留在大陆，一个也不许到台湾去。在上海，毛人风请张国焘吃饭，对张国焘说：经我们研究，共产党来了绝不会杀你。你留下来，我们在共产党内便多了一位共事多年的老朋友，这比去台湾的作用要大。毛人风特别强调：这不仅是他个人的意见，而且是“老头子”的决定。不仅张国焘被抛弃，其他如何畏、徐梦秋等也都落个同样下场。在南京解放前夕，何畏绝望投江自杀。徐梦秋新中国成立后被我公安机关捕获，受到应有的惩罚。

张国焘没有服从毛人风的命令，于1948年底逃往台湾，在台北租了一栋房子栖身。国民党当局对他不管不问，不久他的房子也被国民党“东南军政长官公署”的人强占。张国焘在台湾无法待下去，便于1949年初移居香港。张国焘资产不多，在香港难以维持生活。幸亏大儿子张海威在学校教书，收入勉强能维持生活。这时，他又萌发了回国内定居的念头。1953年张国焘托人带信给中共中央，表示想回来。刘少奇代表中共中央转告带信人：张国焘要回来也可以，但必须公开承认错误，并向中央交代他在叛变投敌期间的一切行为。张国焘不接受这些条件，回国的事就搁置起来。

50年代，台湾和海外研究中国现代史和中共党史的人多次来找张国焘，有些是出于反共目的搞情报的。张国焘表现谨慎，拒绝与自称左派或右派的人士接触。1961年，他接受美国堪萨斯大学的邀请，开始撰写《我的回忆》。历时四年，写完了这部长达百万字的回忆录。由于时代的间隔和查不到当年的文电原件，张国焘的回忆录中不可避免地存在许多史实错误。但是他毕竟写了一部在中国共产党内十八年的完整经历。

由于他的立场没有改变，对中央批判他的错误路线仍是耿耿于怀，死不认账。尤其是对毛泽东的描述，更是发泄他内心的仇恨。但是这本书也确实叙述了党的初期和与共产国际关系等方面的往事，有一定的研究参考价值。这部回忆录1965年在香港《明报》杂志连载，又出版了单行本，引起海外关注。张国焘在撰写期间，每月由堪萨斯大学付给2000港币生活费，出书后又得到一笔稿费。夫人杨子烈也写了回忆录《往事如烟》，二人的稿费和版税收入，为他们提供了生活保证。

1966年，“文化大革命”在中国大地轰轰烈烈开展起来。这场运动也涉及香港。想起他过去与毛泽东的恩怨，张国焘自觉在劫难逃。当时香港街头了出现了“红卫兵”的造反行动，张国焘惶恐不安，几次请求香港警方“提供保护”。但是张国焘在港英当局眼里不过是平民百姓，不可能为他昼夜站岗。张国焘感觉难保安全，便于1968年移民加拿大，投靠在那里留学的两个儿子。

1977年张国焘身患中风，半身不遂。杨子烈在香港生活时因跌坏盆骨，也行动不便。于是张国焘申请住进多伦多市的免费老人病院，杨子烈住进养老院自理生活。1977年12月初，当地大雪不止，天气严寒。而病院内暖气时常中断，终日躺在病床上的张国焘，有时转身被子掉落地上，自己无法拾起，叫人也无人来助，只能咬紧牙关忍受寒冷。12月3日5时起，他突然大呕大吐两小时，就此昏迷不省人事。待医生来诊断，已经气绝身亡。当杨子烈及子女闻讯赶来，张国焘已停尸太平间。杨子烈在电话中对蔡孟紧说：“我们作共产党二十年，反共四十年，一生未享到半点幸福，天道真不平呀！”