Ce château est l’un des nombreux édifices notables situé sur Saint-Viaud. Propriété privée appartenant à une famille apparentée à celle de Toulouse-Lautrec, il est daté, semble-t-il de la fin du 16e siècle. Il comporte un haut pavillon central entouré de deux autres pavillons. Dans la grande cour, se trouvent une chapelle et la fuie (colombier), datée du 14e siècle et inscrite aux Monuments Historiques depuis 1978. Ce manoir a semble-t-il été le siège d’une seigneurie. Depuis le 16e siècle, plusieurs grandes familles se succèdent au château dont une grande famille bretonne au 17e siècle, les Carné, qui ont donné leur nom aux îles du Grand et Petit-Carné, dépendantes du domaine.
Une grande allée devant le château (chaussée ou allée Moriceau, du nom d’un des propriétaires du domaine), longue de 500 m, reliant la propriété à l’ancien lit de la Loire est connue localement sous le nom « d’allée de l’Empereur ». Cela fait référence à l’anecdote que l’on entend souvent relative à l’arrêt de l’empereur Napoléon à cet endroit, le 10 août 1808, lors de son voyage par la Loire, entre Nantes et Saint-Nazaire.