Pues dependerá de si tienen algo de propiedad sobre él, aunque en principio no, si es heredado se podría presumir que es privativo tuyo, y puedes hacer con él lo que quieras.
¿En base a qué, te han dicho eso? Podría haber algún caso entre sí, por ejemplo si se hubieran hecho mejoras gananciales sobre la vivienda, pero vamos, si en el registro aparece como que es tuyo, y no dice otra cosa en la liquidación de gananciales, herencia, o lo que sea, que haya que tener en cuenta, es solo tuyo.