榎［えのき］の材木を家に用いたりするとその家はびんぼうになるから、よくない等といわれてたもの。

えのきを部材として用いるのは長者などのすることだから、といった意味合いもあったようです。

和漢百魅缶│2018.02.21
Design. Koorintei Hyousen 2018