La chronique d'une ville française pendant l'Occupation, Clermont-Ferrand, à l'aide de bandes d'actualités et de témoignages.

Oeuvre polyphonique, composée de témoignages de tous bords et largement affranchie du poids du commentaire, Le chagrin et la pitié se distingue par une hardiesse esthétique empreinte de subjectivité et d'humour en rupture avec les documentaires historiques d'alors ; le contexte du printemps 1969 venant se supperposer à celui de l'occupation. Le film donne une vision très négative d'une partie de la population française, plus tournée vers Pétain que vers de Gaulle.

Christian de la Mazière, ancien membre de Division Charlemagne, parle ainsi de son engagement militaire nazi avec une certaine autodérision, et porte dessus un regard critique mais ambigu (s'il le regrette à demi-mot, il ne le désavoue franchement à aucun moment). Jacques Duclos, dirigeant communiste, est candidat à l'élection présidentielle de 1969 au moment du tournage du film. Ses affiches de campagne sont visibles au cours de l'interview. Pierre Mendès France, figure de la Gauche française jusqu'à sa mort en 1982, ancien député, ancien ministre, ancien Président du Conseil, grand résistant, officier dans l'aviation des FFL, condamné par le gouvernement de Vichy pour "désertion" — il avait tenté de rejoindre l'Afrique du Nord en 1940 par le Massilia — évadé en 1941 de la prison de Clermont-Ferrand dans des conditions qu'il raconte dans le film avec beaucoup d'humour. Helmuth Tausend, ancien officier allemand en poste à Clermont-Ferrand, interviewé en Allemagne au moment du mariage de sa fille.

Le film constitue historiquement la première plongée cinématographique effectuée dans la mémoire collective française sur la période de l'Occupation allemande au cours de la Seconde Guerre mondiale. À une idéologie qui ne faisait pratiquement état jusque là que des faits de Résistance, Ophüls permit de mettre l'accent sur des comportements quotidiens beaucoup plus ambigus à l'égard de l'occupant, voire de franche collaboration. En brisant l'image faussement unanime d'une France entièrement résistante, le film joue un rôle important dans l'inauguration d'une phase de la mémoire de l'occupation que l'historien Henry Rousso appelle "le miroir brisé", à partir des années 1970. Ce courant de pensée sera fortement nourri par le livre de Robert Paxton, La France de Vichy publié aux États-Unis en 1972 et traduit en français en 1973.

Paradoxalement, bien que la déportation des juifs en soit quasiment absente ce film marque également le début de la réévaluation du rôle du gouvernement de Vichy dans celle-ci. Le fait que l'action se concentre sur Clermont-Ferrand explique en grande partie cette quasi absence, car située en zone libre, les juifs y furent certes persécutés dès 1940 par les ordonnances vichystes mais purent, pour beaucoup d'entre eux, se protéger dans les campagnes auvergnates.

Le film heurte la droite française, mais aussi le Parti communiste français, soucieux de mettre l'accent sur une France résistante incarnée par le général de Gaulle qui avait tenté de minimiser la collaboration pour préserver la cohésion nationale. L'une des farouches opposantes à la diffusion du Chagrin et la Pitié fut Simone Veil qui siégeait alors au conseil d'administration de l'ORTF. Dans son autobiographie Une vie, Simone Veil déclare que, confiant dans la pression médiatique et persuadé que l'ORTF avait de ce fait l'obligation morale de diffuser son film, Marcel Ophüls en avait demandé un prix exorbitant ; devant le refus, il fit une campagne médiatique de victimisation pour mieux vendre son film en salle. Par ailleurs, toujours dans cet ouvrage, Simone Veil critique sévèrement la pertinence de ce documentaire qui ne reflète pas du tout, selon elle, les réalités de cette époque. En France, ce documentaire, qui détruit le mythe d'une France dressée contre l'occupant nazi, fut donc privé de diffusion télévisuelle jusqu'en octobre 1981. Pour cette raison, le film dut recourir à la sortie en salle. Il fit l'objet d'un fort engouement par le bouche-à-oreille. À l'époque, le public en France ne disposait que de deux chaines de télévision, toutes deux étatiques, et dont l'information était étroitement contrôlée par le gouvernement. Dans Annie Hall (Woody Allen, 1977), une séquence se déroule dans une salle de cinéma new-yorkais qui projette le Chagrin et la Pitié (The Sorrow and the Pity), film culte du héros du film.