Serge Poliakoff est le treizième enfant d'une fratrie de quatorze. Son père, kirghize, qui avait possédé des élevages de chevaux, fournit l'armée et possède une écurie de course. Sa mère l'entraîne tous les jours à l'église où les icônes le fascinent. Il s'inscrit à l'école de dessin de Moscou. Quittant la Russie en 1918 il arrive en 1920 à Constantinople, subsistant grâce à son talent de guitariste.

Passant par Sofia, Belgrade, Vienne et Berlin Poliakoff s'établit en 1923 à Paris où il ne cessera de jouer dans les cabarets russes. En 1929, il s'inscrit à l'Académie de la Grande Chaumière. Ses peintures demeurent académiques jusqu'à la découverte qu'il fait à Londres — où il séjourne de 1935 à 1937 — de l'art abstrait et de la luminosité des couleurs des sarcophages égyptiens. Il se lie peu après avec Kandinsky, Sonia et Robert Delaunay, Otto Freundlich.

Sa peinture se dégageant de toute représentation Poliakoff est rapidement considéré comme l'un des peintres les plus puissants de sa génération. En 1947, il est entrainé par Jean Deyrolle à Gordes (Vaucluse) avec notamment Schneider, Gilioli, Victor Vasarely, Dewasne. Au début des années 1950 il loge dans l'hôtel du Vieux-Colombier, à proximité de Saint-Germain-des-Prés, que tiennent Louis Nallard et Maria Manton, continuant d'assurer sa subsistance en jouant de la balalaïka. Un contrat lui permet rapidement une meilleure stabilité matérielle.

En 1962, une salle est réservée à ses peintures à la Biennale de Venise et Poliakoff est naturalisé français la même année. Ses œuvres figurent dans la plupart des musées européens et new-yorkais. Poliakoff a ausi travaillé la céramique à la Manufacture nationale de Sèvres. Il incita Arman à faire de la peinture.

En 2006, Poliakof fait partie des peintres rassemblés au Musée du Luxembourg (Sénat) pour l'exposition « L'Envolée lyrique, Paris 1945-1956 » (Composition en brun, 1947, Ny Carlsberg Glypothek, Copenhague; Composition rouge avec trait, 1952, Musée de Cologne; Composition IV, 1954)