そうですね、話し言葉に特化すればそれほど必要な単語は多くはありません。ただ、ラテン語源の難しい言葉は会話では使用率が低くなる代わりに、ゲルマン語源の句動詞が使われる傾向があります。例えば「〜に参加する」を意味するparticipate inをtake part inにするとかですね。丸暗記しようとする日本人にとってはこれは扱いづらいですね。けれども英語ネイティブにとっては基本動詞と前置詞のそれぞれのコアイメージが体感的なので、接地感をもって使用できます。たとえば「take part in+イベント」なら「イベントの空間内で自分の役割(part)をtakeする」イメージですね。 文法→リスニング(+聴いた内容の音読)→語彙の順番で良いと思います。私も別の外国語学習で「自分の言いたいことは言えても相手に何か言われた途端、それが分からなくてパニック」という経験でそれを実感します。