联省自治这一思想，最初来源于欧美国家的联邦制思想。早在清末维新变法运动时期，维新派就大力宣传，梁启超曾在《卢梭学案》中写道：“我中国民间自治之风最盛，诚能博采文明各国地方之制，省省府府，州州县县……各为团体，因其地宜以立法律，从其民欲以施政令，则成就一卢梭心目中所想望之国家，其路为最近，而其事为最易。果尔，则吾中国之政体，行将为万国师矣。”这是维新派效仿联邦制的观念。
到了民国初年，国内政局还并不稳定，中央与地方的关系也模糊不清，国会中的各党派也也在为权力明争暗，南北政府矛盾升级，人们渴求统一，所以联省自治的思想在社会上进一步广泛传播。当时各大报刊上刊载了与此相关的文章，“当时，主张联治派与反对联治派之间展开了激烈的争论，主要的刊物的有《东方杂志》、《太平洋杂志》、《甲寅杂志》、《努力周刊》，其中《东方杂志》在第十九卷二十一、二十二号出了‘宪法研究号'，《太平洋杂志》在第三卷第七号出了‘联省自治号'，共刊出三十多篇讨论制宪和联省自治问题的文章。”冯自由在《民生主义与中国政治前途》中指出：共和政治也，联邦政体也，非吾党日以为建设新中国无上之宗旨乎？使吾党之目的而达，则中国之政体，将变为法国之共和，美国之联邦。这就是说，只有实行联邦制才能使中国政局发生改变。
一些以前主张加强中央集权的进步党人士，现在又忽然转变为主张扩大各省的自治权，“张东荪在《中华》杂志第七号发表《地方制度之终极观》一文，主张采取联邦自治的精神，而不取联邦的名义；接着丁世峄也在《中华》杂志第九号发表一篇《民国国是论》，说中国的国基在于各省，犹美国的国基在于各州，主张在宪法上将中央与各省的权限划清。”联省自治，意思就是说：让各个省自己制定一部宪法或者是自治法，依据省宪法来组成立相应的机构，比如省议会、省政府、省法院等，接着由本身公民进行投票选举省长及其政府工作人员；由各省派代表组织联省会议，制定联省宪法，最后完成国家统一。
这两个步骤是逐次递进的，如果没有第一步的实现，那么国家统一也只成为一个设想。在联省自治思潮的影响之下，一些地方军阀为了自保实力，开始借助联省自治这一思想，来扩大自己的影响力。
湖南在联省自治运动中首当其冲，最先开始实践这一思想。“湖南具有悠久的自治传统，较早地接受了近代民主启蒙思想，在特定的政治环境下，湖南人民发起了驱逐督军张敬尧运动，让广大湖南人民进行了一次自主自决的政治洗礼。随后，湖南人民发起的省宪运动，拉开了联省自治运动的序幕。”因为湖南的地理位置、社会经济以及政治传统等，使得湖南最先走上联省自治的道路上。
因为张敬尧的贪婪、残暴，所以促起了湖南人民自治的要求。后来爆发了有名的“驱张运动”，把张敬尧赶出了湖南。谭延闿继任湖南湘军总司令，于1920年7月22日发出通电，宣布湖南自治的宗旨。后因为湘军内部军心不稳、斗争不止，赵恒惕接任此职，省议会选举第十二区司令林支宇为省长，正式宣告湖南自治。“（1）起草。由省政府聘请具有专门学识及经验者十三人组织起草委员会担任，对于草案内容如何，政府当局概不过问。（2）审查。由湖南各县人民选举代表一百五十余人组织审查委员会，审查已定之草案，并有修正权。（3）复决。经审查委员会审查修正后，交由全省公民总投票复决，复决后公布施行。”1921年自治宪法草案出台，11月1日进行全省公民总投票，1922年1月1日正式公布实施。