民法規定，如果養子女在收養認可時已有直系血親卑親屬者，收養之效力僅及於其未成年且未結婚之直系血親卑親屬。但收養認可前，其已成年或已結婚之直系血親卑親屬表示同意者，不在此限。

所以養子或養女，如果在收養認可時，有未成年的子女，也會與你建立直系血親的關係。若是子女已成年，則必須在收養認可前取得其同意，你們才會有直系血親的關係。