返信を頂いた建築家を お断りするのは申し訳ないような気がします。 構わないのでしょうか。

構いません。
ハウスメーカーや工務店の場合でも何社かに問い合わせして、最終的には１社に絞り、その他を断ることになります。
それと同じと考えてください。
　
そのようなことを心配して声もかけてくださらないことの方がよっぽど哀しいです。