Kai Nielsen blev født i Svendborg, hvor han 1897-1901 var i malerlære hos Johannes Voss. Hans tidligste arbejde kan se i Svendborg på Gerritsgade 9, hvor han og broderen udsmykkede trappen til barndomshjemmet med en frise.
Efter endt uddannelse som maler rejste han til København, hvor han arbejdede som malersvend og blev optaget på kunstakademiet. Uddannelsen ved kunstakademiet blev afsluttet i 1912.
Selvom han startede som maler, skulle Kai Nielsen snart blive grebet af billedkunsten. Det karakteristiske i Kai Nielsens værker er de meget afrundede former. Her er intet mejslet i granit om man så må sige. Figurerne er meget naturtro i gengivelsen af menneskekroppen og skjuler ingen dele.
Hans gennembrud kom med figuren "Nøgen", der afbilleder i foroverbøjet kvinde med armene for ansigtet. Hans værk "Ymerbrønden" står på torvet i Fåborg, hvor den vakte stor opstandelse, da den først blev sat op.
Han har også stået for udsmykningen af Blågårds plads i København.

Han havde en stor figurproduktion hos Bing & Grøndahl, hvor hans figurers unikke form får dem til at skille sig ud. Han gjorde meget i Blanc de Chine. De fleste af hans figurer er sensuelle og stærkt ekspressive.
Han har også arbejdet for Kähler i Næstved.