石垣金五郎は、店子が引越ししていくのを見送っていた。金五郎が大家をしている石垣ビルヂングは築100年以上たつ四階建ての古いビルで、建て替える計画が持ち上がっていた。ある晩、金五郎のいる一階の事務所にだるまと名乗る紳士が尋ねて来た。紳士は100年前からビルの四階を借りていると言う。だが「四」は「死」につながって縁起が悪いので、三階の上は五階にして、四階は存在しないはずだ。紳士はビルの建て替えには断固反対だと言って去って行く。迷い猫を探して敷地に入り込んでしまったネコ娘は、一部始終を目撃してしまう。

下見に来た工事の作業員は建て替え反対のビラが貼られているフロアに入るが、そこは無いはずの四階だった。作業員の前にあらわれただるまは、体からミニだるまの大群を出して作業員を捕まえてしまう。鬼太郎は、金五郎が古い金庫から見つけ出した契約書を見ながら相談を受けていた。そこに、だるまがあらわれて立ち退きを拒否する。怒った金五郎の奥さんは契約書を破ってしまうが、激怒しただるまは体からミニだるまの大群を出して、みんなを襲う。鬼太郎のとりなしで奥さんがあやまって、その場はひとまず治まり、だるまは去っていった。

納得しない奥さんは工事を強行するが、ミニだるまの大群に建設機械は壊され、金五郎がさらわれてしまう。鬼太郎たちはココン(古今東西妖怪大図鑑)でだるまのことを調べ、笑うと負けを認めるということを知る。だるまは金五郎に自分の店を案内する。ガラクタばかりの店にあきれる金五郎だったが、だるまは物の価値は自分で決めるものだと言い切る。鬼太郎とネコ娘は中からも外からも四階に侵入できないので一計を案じた。流れてきた煙を火事だと思っただるまは外に飛び出すが、それは煙砂を使った鬼太郎の計略だった。怒っただるまはその正体をあらわす。

ダルマには髪の毛針も指鉄砲も体内電気も効かない。みんな捕まって、どうしようもなくなった時、苦し紛れに目玉おやじが放ったダジャレに、あるミニだるまが反応した。それがだるまの笑いのツボだったのだ。弱点を責められただるまは笑いをこらえるあまり、悶絶して失神してしまった。負けを認めて去ろうとするだるまだったが、金五郎がそれを引きとめる。金五郎はこのビルが好きだったのだが、流されるままに建替えを了承してしまい、後悔していたのだ。自分の価値観に正直になり、だるまも今までどおり四階に住まわせることにしたのだった。