1932年7月1日，徐伯昕與鄒韜奮、胡愈之在上海創立了生活書店。這是中國現代史上一家“不是以謀求個人私利為目的，而是以提高人民大眾的思想和文化水平為宗旨”的獨特書店。它和后來的三聯書店，都是幫助和推進中華民族進步和解放的一支“文化鋼鐵軍隊”。

生活書店起步資金只有2000元，在短短不到兩年的時間里，生活書店發展到全國有56個分店，創造了一個出版史的奇跡。在這個過程中，徐伯昕以十二萬分的熱忱，為生活書店的發展在默默奉獻著，他曾因為肺病引發3次吐血，但仍不肯離開崗位。為躲避國民黨反動派迫害，他經常搬家，他還經常告誡子女們如有陌生人問起家庭情況，堅決不能說自己姓徐。

由于徐伯昕是生活書店的法人，所以他總是首當其沖受到各種迫害。他曾兩次到租界法庭，憑借自己機智的斗爭藝術，維護了書店的權益，粉碎了反動勢力對進步文化的圍剿。

抗戰期間，在黨的領導和影響下，生活書店出版了許多宣傳馬克思主義和進步思想的革命書籍，包括《全民抗戰》等戰時刊物和叢書近百種，成為當時書刊市場上戰時讀物的主要供應者。同時，徐伯昕還用預付稿費的方法接濟那些堅持不與日偽為伍的作家。1941年12月，國民黨當局下令查封各地的生活書店，56個分店被全部查封，只留下了重慶書店，徐伯昕憤怒寫下長文《生活書店橫遭摧殘經過》，以揭露當局摧殘文化出版事業的真相。因為文章不能在重慶報紙上刊發，徐伯昕就和書店同仁到國民參政會現場分發，郵寄給讀者，延安《新中華報》連續三天登載。這篇文章現被收藏于中國革命博物館和國家圖書館。

后來，在周恩來同志的關懷和幫助下，徐伯昕一直領導生活書店堅持開下去，最終迎來了生活、讀書、新知三家書店的聯合，這就是著名的三聯書店。