ずれがひどかったのは座標変換に利用しているパラメータが原因だった。国土地理院が提供しているパラメータを使うようにしたらかなりよくなった。