Le tableau représente un ouvrier qui semble endormi, épuisé par son travail, mais qui a peut-être travaillé jusqu'à la mort.
La peinture est exposée pour la première fois en 1858 à la Royal Academy de Londres et est très appréciée. De nombreux visiteurs ont supposé que l'homme dormait, épuisé par sa journée de travail acharné mais honnête. Wallis n'a fait aucune déclaration selon laquelle l'homme représenté serait mort, mais il existe de nombreuses suggestions à cepropos. Sur le cadre est inscrit une ligne paraphrasée de A Dirge de Tennyson (1830): "Maintenant, ta longue journée de travail est terminée"; les couleurs douces et le soleil couchant donnent un sentiment mortuaire ; la posture de l'homme indique que son marteau a glissé de sa main pendant qu'il travaillait plutôt que d'être mis de côté pendant qu'il se repose, et son corps est si immobile qu'une hermine, visible uniquement lors d'un examen attentif, est montée sur son pied droit. L'inscription du tableau dans le catalogue était accompagnée d'un long passage de "Helotage" de Thomas Carlyle , chapitre de son Sartor Resartus, qui vante les vertus de l'ouvrier et déplore que "ton corps comme ton âme ne devait pas connaître la liberté".
On pense que Wallis a peint Le casseur de pierres comme un commentaire sur la Poor Law Amendment Act de 1834 qui avait officialisé le système de workhouse pour les pauvres et découragé tout autres formes de secours. Les pauvres valides étaient contraints à de longues heures de travail manuel afin d'obtenir le logement et la nourriture fournis par "la maison de travail" et le travail exténuant entraînait parfois la mort des travailleurs. Le mort porte la blouse d'un ouvrier agricole qui suggère qu'autrefois il aurait été employé toute l'année dans une ferme. L'évolution des conditions sociales l'a privé de son emploi et l'a contraint à accepter la charité de l'hospice et le travail ardu de la taille du silex pour produire du matériel pour les routes.
Pour les contemporains de Wallis, Le casseur de pierres consolide sa réputation de préraphaélite. Par cette peinture, Wallis s'éloigne pourtant des principes préraphaélites pour se faire précurseur du réalisme social victorien.