税務調査官による税務調査は税法に基づいて認められています。

ですから、
御社がむやみに税務調査を断ると犯罪になります。