上海合作组织的前身是“上海五国”机制。而“上海五国”机制发源于上世纪80年代末开始的、以中国为一方和以俄、哈、吉、塔四国为另一方的关于加强边境地区信任和裁军的谈判进程。
冷战结束后，国际和地区形势发生很大变化。中、俄、哈、吉、塔五国为加强睦邻互信与友好合作关系，加紧就边界地区信任和裁军问题举行谈判。1996年4月26日和1997年4月24日，五国元首先后在上海和莫斯科举行会晤，分别签署了《关于在边境地区加强军事领域信任的协定》和《关于在边境地区相互裁减军事力量的协定》。这是亚太地区首份多国双边政治军事文件，受到国际社会广泛关注和高度评价。
此后，五国元首年度会晤形式被固定下来，轮流在各国举行。从1998年至2000年，先后在阿拉木图、比什凯克、杜尚别召开五国峰会。杜尚别会晤时，乌兹别克斯坦总统卡里莫夫应邀以客人身份与会。会晤内容也由加强边境地区信任逐步扩大到探讨在政治、安全、外交、经贸、人文等各个领域开展全面互利合作。由于首次会晤在上海举行，该机制被贯以“上海五国”称谓。
进入21世纪，面对全球化趋势，世界各国都在加快区域合作步伐，以更有效地把握和平与发展的历史机遇，抵御各种风险与挑战。与此同时，冷战结束后，本地区的恐怖主义、分裂主义和极端主义活动日益猖獗，严重威胁各国安全与稳定。中、俄、哈、吉、塔、乌六国都面临发展自身经济、实现民族振兴的艰巨任务，也有进一步加强区域合作的共同愿望和迫切需要。
在此背景下，2001年6月14日，“上海五国”成员国元首和乌总统在上海举行会晤，签署联合声明，吸收乌加入“上海五国”机制。15日，六国元首共同发表《上海合作组织成立宣言》，宣布在“上海五国”机制基础上成立上海合作组织。上海合作组织正式宣告诞生。
