À sa sortie de l'École de Police, Antoine monte à Paris pour intégrer la 2ème division de Police Judiciaire. Caroline Vaudieu, de retour dans le service après avoir vaincu son alcoolisme, choisit Antoine, qu'elle surnomme le petit lieutenant, pour son groupe crim' de la police judiciaire de Paris. Plein d'enthousiasme, Antoine fait son apprentissage du métier aux côtés de ses hommes : le capitaine Solo, les lieutenants Louis Mallet, Patrick Chauvel et Nicolas Morbé. Vaudieu s'attache rapidement à Antoine, de l'âge qu'aurait eu son fils, mort à sept ans d'une méningite.
Un clochard a été battu à mort et jeté dans la Seine. Antoine reconnaît un SDF emprisonné récemment pour une nuit pour alcoolisme sur la voie publique. Le registre de police indique qu'il s'agit d'Andrzej Walesa, un polonais. C'est donc dans ce milieu que se concentre l'enquête. La brigade interroge ainsi Kaminsky, un SDF polonais, qui affirme avoir laissé Walesa avec deux russes avec lesquels il avait fait les vendanges. L'un d'eux s'appelait Piotr. Sachant que Walesa portait encore 300 euros non retrouvés, c'est vers les deux Russes que se dirigent les soupçons.
Caroline et Antoine sympathisent, fument un joint sur les bords de Seine. Antoine déjeune chez Solo dont les origines marocaines n'ont pas facilité son intégration dans la police et qui doit faire face aux remarques racistes de Nicolas Morbé.
Lorsqu'un anglais, professeur de langues orientales, est volé, poignardé et jeté dans la Seine, l'enquête reprend de plus belle car la victime a désigné ses agresseurs comme des russes dont l'un s'appelle Piotr. Vaudieu rencontre le juge Serge Clermont, qui fut son amant autrefois, pour une demande de commission rogatoire. Il sait sa difficulté à vivre après la mort de son fils et la tentation permanente que l'alcool représente pour elle. Caroline Vaudieu décide de se rendre chez un viticulteur du bordelais où, d'après un contact obtenu par Kaminsky, Walesa aurait fait les vendanges avec Piotr.
Le viticulteur fournit une photo des vendangeurs. Piotr est repéré. Vaudieu envoie ses lieutenants, Antoine et Louis Mallet, faire la tournée des garnis avec la photo de Piotr. Après quinze échecs, Louis Mallet voudrait rentrer chez lui alors qu'Antoine décide de terminer par le seizième et dernier garni de la liste. Un Russe du nom de Pavel y habite. Antoine repart chercher Louis, parti boire une bière dans un café. Celui-ci s'étant absenté pour aller aux toilettes, Antoine grimpe seul chez Pavel auquel il montre la photo de Piotr. Pavel, se sentant traqué et voyant Antoine seul, le poignarde de plusieurs coups de couteau. Lorsque Louis, inquiet, grimpe à l'étage, il trouve son collègue grièvement blessé et appelle les secours
Antoine sévèrement blessé n'a que de faibles chances de survie. Louis Mallet doit répondre de sa faute devant la police des polices.
Caroline erre la nuit dans un bar et se saoule avant de rentrer chez Serge qui ne la convainc pas que la rechute sera sans suite. Piotr a été repéré mais Caroline Vaudieu souhaite le prendre avec Pavel. La filature qu'elle mène avec Solo est repérée et Piotr court dans le métro avant, comme le prévoyait Caroline, de ressortir. Il est alors arrêté par Nicolas Morbé. Le téléphone portable de Piotr est surveillé mais la brigade ne parvient pas à localiser Pavel. La visite au pope d'une église orthodoxe ne donne rien. Antoine meurt. Caroline lui rend un dernier adieu à la morgue.
Une écoute téléphonique chez un russe révèle que Pavel est à Nice. La brigade s'y rend en avion. Le GIGN investit la chambre de Pavel et, alors qu'il tente de s'enfuir en tirant, est abattu sous les yeux de Caroline Vaudieu. La mission est terminée, Caroline, plus seule que jamais, erre sur la plage de Nice.
Le petit lieutenant est basé sur une solide documentation sur les milieux de la police grâce à plusieurs semaines passées en immersion dans un commissariat avec Jean Eric Troubat, commandant de police et coscénariste et David Barbas, lieutenant de police et conseiller technique sur le plateau. Ce sont de vrais SDF et sans papier qui jouent leur rôle. Ils donnent au film une crédibilité rare dans un film de fiction sur la police
Sur ce socle documentaire, les enquêtes dans les quartiers Nord et Est de Paris où sont concentrés les plus déshérités, Beauvois bâti un drame de plus en plus poignant, généralisant à tous les protagonistes les thèmes de la solitude et de l'orgueil. Beauvois désigne l'hypocrisie du groupe considéré comme médecine miracle. Il révèle la solitude masquée par la solidarité du groupe.
L'orgueil et la solitude
Antoine Derouère, plus que ses camarades encore, a vu des films policiers qui lui ont donné envie de ce métier. Pour lui, il voudrait contraindre sa femme de quitter Le Havre où elle est heureuse pour Paris qui, dit-il, regroupe 98 % des crimes qui se commettent en France. L'exhalation de l'affectation et le défilé militaire qui suit donnent la mesure de l'idée du groupe, solidaire et protecteur, qu'il se fait. De fait, il se retrouve seul dans sa chambre et n'écoute l'extérieur que par la télévision en jouant avec son arme. Logiquement, c'est pour ne pas avoir attendu son partenaire qu'il meurt.
Caroline Vaudieu survit à la disparition de son fils et à la chute dans l'alcoolisme qui a suivi par son orgueil d'abstinente et sa volonté de revenir dans la police. L'image entraperçue de l'affiche d'Un flic de Melville et le canari qui chante chez elle dans une pièce quasi déserte renvoie au Samouraï du même Melville interprété par Delon. Caroline y fait preuve du même orgueil stoïcien.
La solitude la frappe par l'échec de sa relation avec Antoine, qui aurait pu être un fils de substitution, et qu'elle n'a pu protéger. Son chemin de croix passe par un retour à l'alcool, dans une attitude qui évoque la déchéance de L'absinthe de Degas.
L'étape suivante est la visite de l'église orthodoxe, avant que ne soit annoncée la mort d'Antoine. Beauvois panoramique de bas en haut pour relier la dimension sacrée de l'église à la cérémonie qui s'y tient. La ronde que font les personnages autour de l'enfant renforce l'idée de fête et de cohésion. Le contraste est grand avec Caroline que la vision d'un nouveau-né renvoie à son enfant mort. Les cris qu'il pousse sont comme autant de déchirures pour elle. A la sortie de l'église, c'est une sirène d'alarme, off, qui vient teinter la scène de danger avant que ne lui soit annoncé au téléphone la mort d'Antoine. L'image finale, la voyant errer sur la plage de Nice après la mort sèche, sans exaltation du russe assassin, Pavel, dit tout à la fois son orgueil et son extrême solitude.
La solitude est le lot de chacun des personnages du film. Le fasciste est enfermé en lui-même. Solo, d'origine marocaine, respecte la vie professionnelle pour échapper à l'exclusion dont il pourrait être victime. Lorsqu'il est soudainement appelé "bicounais" par le sergent raciste, la photo de groupe de la police révèle son insuffisance à assurer la cohésion du groupe. Solo frappe le sergent.
Louis qui protége sa vie privée fera les frais de son investissement insuffisant. Alain, l'alcoolique anonyme crie, son dégoût de lui-même et des autres avec leur regard de pitié. Julie Derouère quitte ostensiblement la cérémonie funèbre organisée pour son mari et s'en va, seule, vers la sortie du cimetière.