日常英会話に必要な単語は約2000語~4000語ほど覚えればある程度話せます。
仕事等で必要な場合を除いては全ての英単語を覚える必要は無いと思います。 覚えようと思っても無限に出てくるので使う頻度の高いものだけ覚えるほうが効率が良いと思います。
ネイテイブが話しているのを聞いていると、あまり難しい単語が出てこない事に気がつきます。
また、微妙なニューアンスの違いはありますが、出来るだけわかりやすい単語で話したほうが、海外ではいろんな人がいるので通じやすいです。
そして何より外国人がよく言ってるのが、マニアック単語を使っている人に対して、あの人の英語はおかしいとか変だということ
私達日本人もあまり難しい日本語を使っている外国人を見ると、少しかぶれているように思います。
そして問題は使い方が間違っていると、もっと変になります。
語学学習をしていると、ドンドン深く入ってしまい、誰もが知らないような単語を覚えて使う人がいますが、ネイティブに通じて楽しいと思いますが、ネイティブからするとどうしてそんな単語を知っているのか?というように感じるようです。
試験勉強などではマニアックな単語を覚える必要がありますので、一概には言えませんが日常会話で使う程度であれば簡単なものやよく使うものから覚えるとよいですね。