1929年王二小出生於河北省的一個貧困農民家庭，他的本名其實並不叫王二小，只因為他是孩子們中間的孩子王所以大家都叫他王二小。在他11歲那年，他的父母便雙亡而他淪為了孤兒四處要飯，在四處要飯的期間他常常與抗日軍民有過接觸，在長時間的相處中王二小也明白了抗日的重要性，隨後加入了抗日兒童團。
加入兒童團的他常常會在日本人掃蕩必經之路的山坡上放牛，為八路軍站崗放哨，抽空還會給八路軍割草、送信等等力所能及的事，不過這平和的生活卻在1942年的秋天發生了改變，這一天和往常一樣，日本人再次出來掃蕩，而當時正在放牛的王二下與他的同伴史林山早在山坡上看到了這群來勢洶洶的日本人。
於是二人決定先讓王二小盯著鬼子的動向，而史林山則回村通知鄉親們進行轉移。王二小深知單憑鬼子的行軍速度，恐怕大家還未來得及撤離便與鬼子正面碰上，為了讓鄉親們有眾多的時間可以撤離，王二小依然自顧自的假裝在山坡上放牛吸引鬼子的注意力。而此時在山口迷路的日本人，也發現了這位正在山坡上放牛的男孩。
日本人立即抓住了王二小並命他帶路，為了不讓計劃被日本人發現，王二小還故意裝出了十分害怕的模樣，不情不願的走在日本人的前頭，悄悄地將日本人帶到了八路軍的包圍圈。此前經過史林山的通風報信，八路軍早已在此做好了伏擊。面對從四面八方突然傳出的槍響，日軍深知自己上當，一氣之下用刺刀刺死了王二小。
而這個場景正好被與他一同放牛的同伴史林山撞見了。據他的回憶，當時他看到王二小被眾多的日軍所包圍，但是由於日軍忙於對付八路的意外襲擊並沒有立即處決了王二小，不過此時的王二小卻突然抱住了一名日軍的腿，想同他一起摔下懸崖，最後卻由於王二小沒有經過專業的訓練，而且身體過輕，反而被日軍用刺刀刺穿了身體，從幾十米高的懸崖上扔下。
這一場景對當時還是小孩的史林山來說卻是一生中最大的陰影。在他看來如果被日軍看到放牛的是他不是王二小，那麼當時被日軍刺死的人就一定會是他了，而王二小主動選擇在原地放牛則是給了自己活下去的機會。從那以後對於王二小史林山總是抱有敬重以及感恩之心。
王二小逝世後，村民從懸崖底將他的屍體帶回了村子，村民們也為這名少年英雄置辦了葬禮，讓他入土為安，而在王二小被安葬完後，史林山的守墓生涯也就此開啟了，為了報答王二小的救命之恩，他從來都沒有選擇放棄，為王二小守了整整58年的墓。