Не обязательно ненависть и тем более желание расквитаться. Сие сильно зависит от особенностей конкретного человека и его личных реакций на.
У меня чаще всего доминирующим будет брезгливое удивление.
А вот про ревность - имхо, верно. Там основа именно в том, чтобы "был только со мной", "только моим" и тэ дэ. Прочие эмоции я бы ревностью все же не назвала...