从明代开始，封建朝廷即在芜湖建立了征收商税的机关，分“工关”和“钞关”两个机构，统称“常关”，是明代南北六大税关之一。
工关的任务，是“抽分竹木，变价解京，以供营缮之用”（孙承泽《天府广记》，第二六三页）。原来明成祖朱棣建都北京，大兴土木，建造宫殿和陵墓，急需大量竹木。那时，江、汉、蜀、广、滇南地区的竹木，通过长江、运河、海口水运北上，排筏浮江而下，蜿蜒若长龙相接。加上徽州、宁国山区盛产杉木、毛竹，商人长途贩运获利甚多。封建统治者眼红了，于是“有司始建议十一榷之。芜湖据江下流，控荆楚，通宣歙，乃请命开厂于此”。（张秉清《芜湖榷司题名记》）。成化七年（一四七一年）在江口设立“抽分厂”，按竹木价值抽取十分之一的税银。朝廷派工部主事王臣来任榷司，抽分厂由工部主管，故称“工关”。关栅建立在江口鳖洲，木筏经此停泊，抽查纳税后方准通行，所以俗称鳖洲为“关门洲”。工关辖巡司十三处，设泥汊、东河、澛港、青弋、新河五口，以防漏税。第一年税银不过千两，以后逐年增多，到弘治十五年（一五二〇年）增至三万七千多两。榷司换了三十三人，每人任期一年。这是芜湖历史上正式建立关税之始。
钞关，是崇祯初年（一六二八年），为了解决边镇饷银不足而设的。“钞关”，以征船钞——按船征收货税，归户部掌管。钞关设在河南，与河北工关隔河相对。分守口岸有内河、东河、澛港、下关、裕溪、泥汊、𣳷港、大信、金柱、青弋、新河、西江、浮桥十三处。抽税网比工关更扩大了。税收要比工关所得高二、三倍。那时榷差是肥缺，榷司大肆贪污，中饱私囊，连朱由检也不得不承认：“婪官奸胥，滥科充橐，假公济私，朝廷当加课之虚名，司关享侵牟之厚利。”（《天府广记》第一五〇页）
康熙九年（一六七〇年），清廷把工关划归户部，就是说工关、钞关由户部主事统一主政。本来工关、钞关只征水路货物税，这时在陆路也增关设卡收税了。如在来凤门外设北关，长虹门外设南关，去火龙岗方向设卡子口，作为“稽查陆税处”。执行查货抽税的人役共有三十七名。康熙时，工关每年抽税正银四万五千三百两，钞关是十二万三千一百两，合计十六万八千四百两，作为正额上缴户部，不得短少。至于官员胥役额外加征，那就无法统计了。
雍正元年（一七二三年），芜湖关与户部脱钩，划归巡抚令择地方官兼管，十一年（一七三三年）设安徽宁池太广分巡道，兼理芜湖关务，并委经历、巡检等员任分查，从此岁为常例。这是一个重要改革，道尹集一方政治、军事、税务于一身。道署设在河南将军港，道尹又称芜湖关道。随着芜湖商业发达，关税收入日增。以嘉庆四年（一七九九年）为例，芜湖关征税银十九万四千零二十六两，另外征收钢斤脚价银三万三千两。太平军占领芜湖时，芜湖关这支吸血管一度被拔掉过。同治时，清廷财政日绌，遂以养兵为名“抽厘助饷”，安徽督抚在长江南北两岸设立盐茶牙厘各局，征收商税，凡水陆交汇之处设立厘卡，专派司道大员管理。在芜湖江口设“皖南牙厘总局”（后改为安徽米捐局），这是专门的税收机构。光绪二年（一八七六年）复立工关、钞关，并又根据《烟台条约》增设新关（即海关）。为与海关有所区别，工关、钞关改称“常关”，由徽宁池太广兵备道兼任关务。
新设海关、恢复常关之后，厘局理应裁撤，这叫“设关裁厘”，但是一直行不通。原来厘局收入不报解户部，直送慈禧支配。慈禧又以“筹设海军经费”为名，要厘局每年交银三千六百万两，于是各地厘局不但不裁，税额反而加重。那笔“海军费”后来被慈禧挪用去建了颐和园。芜湖厘卡每年上缴税银多少，始终是个谜，据估算每年不下四、五十万两。这是海关、常关以外，人民的又一沉重负担。至于海关、常关的征银数字，从现有资料看也很惊人。如：光绪二十年（一八九四年），海关为七十余万两；三十四年（一九〇八年），常关为十八万三千一百两（澛港口缺）。从光绪二十六年（一九〇〇年）起，作为庚子赔款，帝国主义直接掠夺常关本口及裕溪、东河、澛港三口，每年不下十六万两，这还不包括海关税收，可见帝国主义者对中国人民的剥削，比之封建统治者更是有过之而无不及。
辛亥革命，清廷垮台，民国成立，芜湖关落进封建军阀手里。封建军阀进一步出卖关税主权，凡五十里以内的关税（包括海关和常关）都被英国税务司一揽子夺去。民国三年（一九一四年）设芜湖道尹，但不兼管关务，从此关、道分治。主管关务的是新成立的“芜湖关监督公署”，芜关监督兼交涉员，但与英国税务司交涉的结果，只能管辖五十里外的泥汊、新庄、青弋、金柱四个口。每年常关税银五十万两和海关税银四十余万两（一九一四年——一九一七年），全都拱手让于外人。此情况一直到民国二十年（一九三一年）为止，国民党政府实行“裁厘加税”，常关亦一律裁撤，但海关仍旧控制在外人手里。
芜湖关自创设到裁撤共有四百八十年的历史。历经明清二代四百六十年，新旧军阀二十年。从设立抽分厂之日起，它的猎税对象越来越多，以至发展到无货不抽税，给人民带来沉重负担。童谣云：“关门洲，鬼门关，要活命，快掏钱。”至今南关、卡子口地名犹存，老人说：“提起南关卡子口，鸡鸭鱼蛋都发抖，雀儿飞过拔下毛，鹅卵石捏出四两油。”真是字字辛酸、血泪斑斑啊！
