Dans une lettre adressée à son frère, van Gogh décrit le Café de l'Alcazar, place Lamartine à Arles où il prenait ses repas, comme "un sang rouge et jaune terne avec une table de billard verte au centre, quatre citron jaune lampes avec une lueur orange et verte. Partout, il y a un choc et un contraste entre les rouges et les verts les plus disparates."
Les couleurs heurtées étaient aussi censées exprimer les« passions terribles de l'humanité »trouvées dans ce repaire de nuit, peuplé de vagabonds et de prostituées. Van Gogh a également estimé que les couleurs prenaient une qualité intrigante la nuit, en particulier à la lumière du gaz : dans ce tableau, il voulait montrer comment "les vêtements blancs du propriétaire du café, observant dans un coin de cette fournaise, deviennent jaune citron, pâle et vert lumineux."