Kao nació en 1950 de padres inmigrantes chinos. Un consumado pianista de jazz, pasó el verano de 1969 tocando teclados para Frank Zappa. Kao estudió filosofía en Yale College, recibió un doctorado en medicina de la Escuela de Medicina de Yale y un MBA de la Escuela de Negocios de Harvard. Enseñó en Harvard Business School de 1982 a 1996, donde se especializó en innovación y emprendimiento. También ocupó cargos docentes en el Laboratorio de Medios del Instituto Tecnológico de Massachusetts, el Yale College y la Escuela de Posgrado Naval.
Su labor de asesoría para la senadora Hillary Clinton, incluidas sus ideas sobre innovación y transformación, fue descrita en The New York Times como "lista para usar".
En 2000, Kao se convirtió en director ejecutivo de Ealing Films. También fundó Kao Ventures y The Idea Factory, con sede en San Francisco, trabajando con nuevas empresas relacionadas con Internet. También compartió créditos como productor de Sex, Lies, and Videotape y Mr. Baseball.