Ce dimanche, à La Rochelle, un cargo en provenance d'Afrique vient d'accoster : un passager, Mimile Babin, en descend, poursuivi par les invectives du commandant Drouin. Chez le riche armateur François Cardinaud, on s'apprête pour la messe. Mademoiselle, la gouvernante, s'occupe des enfants car Marthe, leur mère, est déjà partie. Elle n'est toujours pas là à l'heure du déjeuner. François, inquiet, se rend chez ses beaux-parents, les Vauquier, qui n'ont pas vu leur fille et en profitent pour demander de l'argent à leur gendre.
Froid et autoritaire, Cardinaud, jadis débardeur, n'est guère aimé sur le port, où il dicte sa loi aux pêcheurs. Ses propres parents lui reprochent une réussite qui l'a coupé de ses origines. Lui-même, tout à ses affaires, a délaissé Marthe. Quant à ses associés, les frères Mandine, qu'il a sauvés de la faillite, ils rêvent de l'humilier à leur tour. Seule, Mademoiselle paraît lui porter quelque affection...
Une rumeur court en ville : Marthe a rejoint Mimile, son amant de jeunesse. Et, au marché aux poissons, Titine, la mère Babin, lance à François un "Cocu !" qui fait plaisir aux ennemis de l'armateur. Drouin confirme la rumeur à Cardinaud; lui-même veut punir Mimile d'avoir dénoncé ses trafics clandestins. Les deux hommes se lancent à la recherche des amants.
Auparavant, François a brutalement remis à leur place Mademoiselle, cynique candidate à la succession de Marthe, et les Mandine, trop vite réjouis de son infortune. Sur l'île de Ré, où les fuyards croyaient leurs amours à l'abri, Cardinaud met Drouin hors d'état de nuire à Babin. Celui-ci n'a pu retenir Marthe, déçue par la médiocrité et l'absence de scrupules de son amant. Sur le bac du retour, François retrouve sa femme et ne lui adresse aucun reproche. Marthe se blottit contre lui...