正当加加林对未来充满信心的时候，灾难发生了。[[1968年]][[3月27日]]，他和飞行教练员谢廖金在一次例行训练飞行中，因一架双座[[喷射机]]坠毁而罹难。灾难发生的这一天，加加林按计划要驾驶[[米格-15]]歼击教练机飞行两次，每次半小时。10点19分，飞机升空。10点30分，加加林把空域作业的情况报告飞行指挥，请求准许取航向320返航。此后，[[无线电]]通信突然中断，1分钟后，飞机一头栽到地上。

事故发生后，政府成立了事故调查委员会。经过认真分析研究后认为：“[[1968年]][[3月27日]]飞机飞行准备工作完全是按照现有技术操作规程的要求进行的。”调查委员会查明了飞机与地面相撞时的状态。当时，飞机在两层云带空域里飞行，看不见地平线。返航时，本应从70°航向向320°航向下降转弯，后来一定发生了某种突发事件，使飞机处于临界状态。飞机飞出低层云，航迹倾斜角达到70°到90°，飞机几乎是垂直俯冲下来，加加林和另外一位飞行员密切配合，想尽最大努力使飞机退出俯冲状态，但当时飞行高度只有250-300米，时间也只剩2秒钟了，他们没有成功，年仅34岁的加加林就这样离开了人世，以至于人们都不相信他真的牺牲了。