手順どおりにやったつもりですが管理者についての記述はなかったように思います。
ちなみに、windows上では管理者になってます。
本当にhttps://www.jpki.go.jp/download/pdf/install_edge_chrome_1_0_1.pdf( 公的個人認証サービス 利用者クライアントソフト Edge/Chrome 対応版 Ver1.0.1.0 インストール手順書)を実行したのですか?第3章にはっきりAdministratorsグループのユーザーでインストールをすることと断り書きが書いてあるのを見落としているじゃないですか?
Windowsのアカウントが管理者かどうかは、設定⚙ > アカウント > ユーザーの情報に出ています。これが管理者でAdministratorsグループに属していないのであれば、ユーザープロファイルが壊れています。良く確認してください。