やはり前情報の通りsmtp_restrictionsのオプションに reject_non_fqdn_helo_hostnameが設定してあった。これを無効化したらOutlookでメールアカウントの設定ができるようになりました。

まぁ、非常にレアなパターンのような気もするね。