Спасибо!
Удалось решить проблему с помощью shadowsocks. На VPS запустил shadowsocks-rust в докер контейнере. На роутере поставил shadowsocks-libev-ss-tunnel, в настройках wireguard endpoint поменял на локальный адрес и порт ss-tunnel.
