Très influencé par Edgar Degas et Toulouse-Lautrec à ses débuts, il participe plus tard aux mouvements fauviste, cubiste et impressionniste abstrait.

En 1906, Montmartre étant devenue une communauté très active, il déménage pour le quartier plus tranquille de Puteaux où il consacre la majeure partie de son temps à travailler à la pointe sèche, la gravure en creux (intaglio), une technique qui crée des lignes foncées et veloutées qui ressortent en contraste avec la blancheur du papier.

Son isolement de la bourdonnante communauté artistique de Montmartre, ainsi que sa nature modeste, ont fait que sa production est restée obscure pendant un certain nombre d'années.

À partir de 1911, il organise chez lui, avec ses frères Raymond et Marcel, un groupe de discussion qui se rencontre régulièrement avec des artistes et des critiques comme Francis Picabia, Robert Delaunay, Fernand Léger et d’autres auxquels on donnera bientôt le nom de Groupe de Puteaux. Villon a joué un rôle majeur dans l’exposition du groupe sous le nom de « section d’Or » d’après la « section d’Or » des mathématiques classiques. Plus de 200 œuvres par trente et un artistes figuraient à leur première exposition à la Galerie la Boétie d’octobre 1912.

En 1913, Villon crée ses chefs d’œuvre cubistes, sept grandes pointes sèches où les formes se cassent en plans pyramidaux obscurcis. La même année, il expose au célèbre Armory Show de New York, qui contribue à introduire l’art moderne aux États-Unis. Ses œuvres connaissent une grande popularité et se vendent sans peine. Sa notoriété grandit tellement que dès les années 1930, il est mieux connu aux États-Unis qu’en Europe.

La Galerie Louis Carré organise une exposition de son œuvre à Paris en 1944, à la suite de quoi il reçoit des récompenses dans un certain nombre d’expositions internationales. En 1950, il reçoit le prix Carnegie et, en 1954, il est nommé commandeur de la Légion d'honneur. L'année suivante, il reçoit la commande des vitraux de la cathédrale à Metz, la France. En 1956, le grand Prix de la Biennale de Venise lui est décerné à l’exposition.

Les plus grandes réalisations de Villon en gravure sont sa création d’une langue purement graphique pour le cubisme, une réalisation dont aucun autre graveur, y compris ses camarades cubistes Picasso ou Braque ne pourrait se vanter.

En 1967, son frère Marcel a contribué à monter à Rouen une exposition intitulée « Les Duchamp : Jacques Villon, Raymond Duchamp-Villon, Marcel Duchamp, Suzanne Duchamp. » Une partie de cette exposition familiale a ensuite été présentée au