李泽椿出生、成长于一个知识分子家庭。父亲李清悚是近代著名教育家陶行知和陈鹤琴的学生。李泽椿幼年时，父亲任南京市第一中学的校长。1937年抗日战争爆发，父亲携家小，带着一中的师生迁往四川，并随后与内迁的另外几所学校合并，创办了国立二中。曾担任北京市委书记的李锡铭、气象学界著名院士陶诗言、建筑学界泰斗吴良镛等人都毕业于该校。刚到四川时，李泽椿才两岁多，念小学时，因为生病，没能及时报上名，但他跟着在读的表姐学习，没想到在学校测试了几道题目，就报上了二年级。回忆起近七十年前“人生中的第一个顺利”，李泽椿很开心，陶然。
在北碚的那段童年生活，给李泽椿留下终生难忘的记忆：其时，国民党在重庆成立教科书编辑委员会，梁实秋任主任，李清悚为副主任。但梁实秋是文人，长于写文章，编委会的主要工作还是落在对中小学教科书熟悉的李清悚身上。李泽椿还记得小时候常随同父亲一起去雅舍玩的情景。在北碚，他见过音乐家马思聪，喜欢听他的《思乡曲》。后来，父亲担任教育部下属的教育电影制片厂厂长，因为大人们工作在一起的关系，他和冯四知、孙瑜的孩子也经常在一起玩。
抗战胜利，1946年李泽椿全家回到南京。因为四川的乡村小学教学一般，回南京后报考南京一中时，他的成绩不理想，最终只得以备取生身份录取。刚安稳两年，因为父亲不愿随同所服务的机构迁往台湾，遂于1948年全家转往上海。
1951年，国家提出“军队要知识化”，号召学生参加军事干部学校。在“抗美援朝、保家卫国”的热情感召下，李泽椿报名参军，分配到成都气象干校学气象。因为自己本来就有学气象的意愿，李泽椿心里很高兴。其时，国家仅在江苏丹阳、长春、北京、兰州和成都设立气象干校。在成都，李泽椿先是学了5个月的政治，紧接着是4个月的气象观测学习。学好了本领，一心报效祖国的热血男儿们都争着要去最艰苦的地方西藏。
当时，国家在气象方面的局面是：国民党退走之后，内地只剩有五十几个气象站（今天已有2600个），根本反映不了全国的气候变化，大量建站成为当务之急。因为条件（要政治过硬，身体素质好）不够，李泽椿没去成西藏，随即于第二批去了西北，在兰州气象干校当助教，辅导学员观测。5个月后，一心想转战新疆的李泽椿又接到新的任务——到汉中略阳县建站。因为空运物资到西藏经过略阳，要保证航线上的天气。李泽椿回忆1952年，他和两个北京去的学通信的学员一起，每人背着一支枪，雇当地农民用独轮车推着装备，在山间羊肠小道上走了整整四天。略阳位于陕甘川三省交界地带，秦岭的南麓，经济落后，生活非常艰苦困难。
刚开始时生活尚可。街上可以买到熊掌，市价2万块钱（约等于今天的2元）。鸡蛋相当于现在的一分钱一个（当地盛传有麻风病，据说麻风病人不能吃鸡蛋，所以很便宜）。地方小，一个县城，两三天才宰一头猪。李泽椿和同事们合并每个人的夜餐费1800元，就能把猪下水买来好好美餐一顿。但好景不长，很快开始建宝成铁路，铁道兵进驻，物价涨起来，吃的东西也少了。
物质生活的贫乏和艰苦没有消磨李泽椿的学习和工作热情。他觉得预报天气有意思，一心想当预报员。上海的同学都考上了清华、北大、北航这样的名牌大学，他心里想上大学的念头也变得愈加强烈起来。值班时，挂上窗帘睡会儿觉，他就起床复习高中课程。实际上，李泽椿说当时他也不知道什么时候才有考大学的机会，但总觉得学习知识好，就这么准备起来了。
命运再一次眷顾于他，李泽椿的“好运气”来了。1955年，北京气象干校在原有训练班的基础上，升格成为3年制中专——北京气象学校（隶属于中国气象局），从各省“调干学习”。因为工作表现好，李泽椿成为陕西省两名抽调上去的“干部”之一。当时很多人觉得没意思，打退堂鼓回去了。李泽椿“关键时候做出了正确的选择”，不但留下来了，还抓紧时间大量做物理学习题，这在一年后他考大学时充分发挥了作用。
1956年，因为生源不够（当年计划招11万大学生，而中学毕业生只有9万），国家号召在职干部报考大学，这个消息让李泽椿兴奋不已。他连着写了三封信给领导，但都没有回复。没办法，只能徒然心焦地等候。周末那天他从中医研究院的姐姐家回来，随手抓了份报纸，一眼瞥到上面登载的礼拜一高校报考截止的消息，这一惊非同小可，他赶紧找到学科的张景新主任，在张的努力下又连夜找到中央气象局的领导，促使其做出同意的批复。
