当匈奴贵族横行北方、西晋王朝面临崩溃的时候，晋朝有一些有志气的将领还坚持在北方战斗。刘琨就是这样的杰出代表。
刘琨年青的时候，有一个要好的朋友叫祖逖。
在西晋初期，他们一起在司州（治所在今洛阳东北）做主簿，晚上，两人睡在一张床上，谈论起国家大事来，常常谈到深更半夜。
一天夜里，他们睡得正香的时候，一阵鸡叫的声音，把祖逖惊醒了。祖逖往窗外一看，天边挂着残月，东方还没有发白。 祖逖不想睡了，他用脚踢踢刘琨。刘琨醒来揉揉眼睛，问是怎么回事。祖逖说：“你听听，这可不是坏声音呀。它在催我们起床了。” 两个人高高兴兴地起来，拿下壁上挂的剑，走出屋子，在熹微的晨光下舞起剑来。
就这样，他们一起天天苦练武艺，研究兵法，终于都成为有名的将军。
公元３０８年，晋怀帝任命刘琨做并州刺史。那时候，并州被匈奴兵抢夺杀掠，百姓到处逃亡。刘琨招募了一千多个兵士，冒着千难万险，转战到了并州的晋阳（今山西太原市西南）。 晋阳城里，房屋被焚毁，满地长着荆棘，到处是一片荒凉。偶然见到一些留下来的百姓，已经饿得不像样子了。 刘琨看到这种情况，心里很难过。他命令兵士砍掉荆棘，掩埋尸体，重新把房屋城池都修复起来。他亲自率领兵士守城，防备匈奴兵的袭击。
他还采取计策，让匈奴的各部落互相猜疑。
后来，有一万多个匈奴人投降了刘琨，连汉主刘渊也害怕了，不敢侵犯。 刘琨把流亡的百姓都召回来耕种荒地。
不到一年时间，到处可以听到鸡鸣狗叫的声音，晋阳城渐渐恢复了繁荣的景象。
刘聪攻破洛阳之后，西晋在北方的兵力大多被打散了，只有刘琨还在并州一带坚持战斗。晋愍帝在长安即位后，派人封刘琨为大将军，要他统率并州的军事。
那时候，汉国大将石勒，占据了襄国（在今河北邢台西南），集结了几十万大军，想夺取并州。刘琨南面有刘聪，北面有石勒，前后受敌，处境困难到了极点。可是刘琨没有害怕，没有退缩。他在给晋愍帝的一份奏章里说：“臣跟刘聪、石勒，势不两立。如果不讨平他们，臣决不回朝。”
据说，刘琨在晋阳的时候，有一次，晋阳被匈奴的骑兵层层包围。晋阳城里兵力太少，没有力量打退敌人。大家都感到惊慌，刘琨却仍然泰然自若。到了傍晚，他登上城楼，在月光下放声长啸，声调悲壮。匈奴的骑兵听了，都随着啸声叹息。
半夜里，刘琨又叫人用胡笳（一种乐器）吹起匈奴人的曲调，勾起了匈奴骑兵对家乡的怀念，伤感得流下眼泪。天快亮的时候，城头的笳声又响了起来，匈奴兵竟自动跑散了。
后来，刘琨联络鲜卑族首领一起进攻刘聪，没有成功。接着，石勒进攻乐平（今山西昔阳西南），刘琨派兵去救，被石勒预先埋伏好的精兵打得几乎全军覆没。正在这个时候，又传来了长安被刘聪攻陷的消息。到了这步田地，尽管刘琨怎样顽强，也没法保住并州，只好率领残兵投奔幽州去了。
