Geçmişte Hadramut Krallığının başkenti olan kentle ilgili bilinen ilk yazıt MS 3. yüzyıla ait. Günümüzdeki şehir, vadi yatağından birkaç yüz metre yukarıda bulunan kayalık bir çıkıntı üzerine inşa edilmiş ve 1532’de büyük bir sel nedeniyle kısmen tahrip olmuş olan daha önceki bir yerleşimin yerini almış.
1982 yılında UNESCO Dünya Mirası Listesi’ne eklenen ve genellikle “dünyanın en eski gökdelen şehri” olarak anılan Şibam, dikey yapı ilkesine dayanan şehir planlamasının en eski ve en iyi örneklerinden biri. Sağlamlaştırılmış surlarla çevrili kentteki evlerin tamamı kerpiçten yapılmış ve yaklaşık 500 tanesi 5 ila 11 kat yüksekliğinde, her katta bir veya iki oda bulunan kule bloklar. Bu mimari tarzın ana sebebi, kentin sakinlerini Bedevi saldırılarından korumak içindi.
Şibam tahminen 1.600 yıldır varlığını sürdürüyor olsa da, kentteki evlerin çoğu 16. yüzyıldan kalma. Ancak birçoğu son birkaç yüzyılda defalarca yeniden inşa edildi. Cuma Camisi büyük ölçüde 9.-10. yüzyıla ve kale 13. yüzyıla ait, ancak en erken yerleşim İslâm öncesi dönemde ortaya çıkmış. Geleneksel Hadrami kentsel mimarisinin en başarılı örneği. Yerel tüccarların yurtdışı seyahat ve ticaret yoluyla ekonomik ve politik prestij geliştirdiği 16. yüzyıldan 19. yüzyıla kadar süren Hadrami tarihinin önemli dönemini gösteriyor.
Şehir, 2008 yılında tropik fırtınadan kaynaklanan selden ağır bir şekilde etkilendi. Sel suları şehirdeki pek çok binanın temellerini aşındırdı ve sonuçta binaların çökmesine yol açtı. Aynı zamanda 2009’da El Kaide saldırısının da hedefiydi. 2015 yılında Yemen’de şiddetli iç savaş patlak verdiğinde, UNESCO, tarihi Şibam kentini “risk altındaki kültürel miras” olarak listeledi.