Tras dejar el Ejército en 1972, Baker se quedó en San Francisco donde empezó una carrera como artista que tuvo en la bandera arcoíris (1978) su creación más célebre y que se convirtió también en un símbolo recurrente de su obra.
Fue en ocasión del desfile del orgullo gay de 1978 que Harvey Milk, el primer representante electo abiertamente gay de EE.UU., le encargó a Baker diseñar un símbolo que representara al colectivo.
Baker cosió unas telas que él mismo había teñido para crear esa bandera arcoíris, que en su primer modelo tenía ocho barras de colores y que más adelante evolucionaría a las seis con las que pasó a la posteridad.
Los ocho colores originales eran el rosa (símbolo de la sexualidad), el rojo (la vida), el naranja (la salud), el amarillo (el sol), el verde (la naturaleza), el turquesa (la magia), el azul (la paz) y el violeta (el espíritu).
Baker eliminó después el rosa porque su fabricación era muy costosa y combinó el turquesa y el azul.
Desde su creación, la bandera del arcoíris se convirtió en un símbolo en todo el mundo en pro de los derechos de homosexuales, transexuales y bisexuales.
