Верные там на севере, примерно от территорий, которые в ВК занимает Гондор - и к северу. И у них был мощный стимул в виде Мордора, Ангмара и прочих прелестей, где как раз и сидят те самые силы и сущности в наглядном виде. Им не поклоняются, с ними сражаются - а поэтому хранится память о Западе, который враг Мордору.
Во-вторых таки да, есть оставшаяся еще с Нуменора тенденция к сохранению традиций и памяти о прошлом, но "не опускаться до дикарей" работает только в Гондоре, а в Арноре постоянное общение с эльфами, и дополнительных стимулов не надо.

А вот на юге, от Умбара и южнее, селились люди Короля, и там могли поклоняться самым разным вещам, включая Саурона.