面接だけ受けて働かないのは失礼になりますか

面接は合うかどうかを見る場なので、受けて働かないのは全然失礼じゃないです。むしろ流されて合わないお店で働く方がよくないです。考えてからにします、と言って帰って大丈夫ですよ。その場で即決を迫るようなお店は、それ自体が避けるサインだと思います。