Это-то понятно, просто была еще (кажется, в каких-то ранних апокрифах) версия, что Иосиф женился на Марии, будучи уже вдовцом, т.е. могли быть сводные братья по первому браку отца.