中华人民共和国成立前，上海是中国足球运动的重要基地，有东华足球会、三星会（铁路队）、青白足球队、群力队、盘队、精武队、龙头队等大量业余足球队[1]。
1951年12月与1953年3月，中国先后举办了两届全国足球比赛大会，由各地区选派代表队在年底参加赛会制比赛。上海与南京、山东、苏南、苏北、浙江、皖南、皖北、福建同属华东区。上海通过市内选拔比赛派出代表队，参加华东区足球比赛，两次均获得冠军。赛后华东区从比赛中选拔代表队，其中上海队成员最多，之后参加全国比赛，两届均获得亚军。
1954年与1955年，中国先后举办两届不分级、按大区参赛的全国足球联赛。为参加该项赛事，上海于1953年底成立了第一支专业足球队，称为华东体训班足球队，参赛时称华东体育学院队或华东区队，代表华东区参赛，分获季军与第六名。此时华东区建制撤销，但是这支队伍得以保留，改称上海体育学院队，常称为上海一队或上海队。1956年第一届分级的全国足球联赛，上海队参加甲级联赛，获得亚军，此外获得首届全国足球锦标赛冠军。
1960年代初，上海足球进入专业制时期最辉煌的阶段，除蝉联1961年、1962年联赛冠军外，还获得联赛前三与全运会亚军等荣誉。但是此后文化大革命开始，上海各级足球队受到巨大冲击，除1973年曾经获得全国联赛亚军外，实力下降明显。1977年恢复分级联赛，上海队连续处于降级边缘，1980年终于降入乙级。
降级后上海队改任方纫秋为主教练，很快在1981年获得乙级联赛第二名，重返甲级。1983年，上海队夺得第五届全运会冠军，此时方纫秋离任，助手王后军上任。
王后军在上海队十年以战术多变灵活著称，制定了在稳固防守基础上的快速反击的战略，联赛成绩长期稳定在中上游。1991年，上海队获甲级A组联赛亚军、优胜者杯冠军。
此时中国足球进入职业化时期，1993年12月上海申花足球俱乐部成立，是中国第一家脱离政府体制的职业足球俱乐部。申花继承了上海队的甲A名额，以及原一队、青年队的大部分球员，上海队从此不复存在。