1917, Storyville, à la Nouvelle-Orléans. Violet a dix ans. Enfant naturelle d'une prostituée, elle vécut toute son enfance dans l'ambiance très familiale d'un bordel de luxe entre Mme Nell, la patronne, les musiciens et les clients. Hattie, sa mère, est en train de mettre au monde un autre enfant. Violet annonce à toute la maison la naissance d'un petit frère. C'est elle qui souvent s'en occupera.
Un matin, un jeune photographe, E. J. Bellocq, demande l'autorisation de photographier ses sujets favoris : les femmes vouées à la prostitution. Après quelques réticences, la maison l'adopte. Il semble ne se consacrer qu'à son travail. Pourtant, une étrange fascination le lie bientôt à Violet. Vient le jour où la virginité de Violet est mise aux enchères.
Le temps passe et Violet est devenue l'une des prostituées les plus recherchées de Story-ville. Hattie annonce son mariage avec Fuller, l'un des clients de la maison, et son départ. Elle promet à Violet de venir la rechercher. La vie continue. Un jour, pour avoir risqué des rapprochements amoureux avec un jeune noir, Violet est fouettée. Elle s'enfuit et se réfugie chez Bellocq dont elle devient la maîtresse. Leur liaison est orageuse et, un soir, elle s'apprête à réintégrer le bordel pour découvrir que celui-ci vient d'être fermé par la US Navy. Bellocq annonce à Violet qu'il veut l'épouser. Le mariage a lieu mais, peu après, Hattie revient pour enlever la jeune femme à son mari et lui donner une éducation "bourgeoise".
Ayant à deux reprises refusé des propositions américaines, dont l'une sur le musicien Jelly Roll Morton, Louis Malle part touner en 1977 l'histoire de ce mystérieux photographe de Storyville et de cette jeune enfant prostituée. La Petite fait partie de la sélection officielle du Festival de Cannes 1978 mais, comme beaucoup de films de son auteur, est l'objet de nombreuses controverses et malentendus.
Dans la ville du jazz, c'est aux paroles d'un pianiste que Louis Malle s'identifie : "Ce monde cruel est un bordel où naissent des petits enfants".