廬山的歷史，延續到清朝末年的時候，書院、寺院都已經處於有延殘喘的狀態，“種蓮採菊”早已成為陳跡，人們也無此雅興了。但是，歷史又起波瀾，外國殖民主義者開始侵佔廬山，把廬山變成他們的樂園。接著，蔣介石也來玷行這塊寶地。日寇的鐵蹄又肆意蹂躪，廬山經歷了一段“百年魔怪舞能躚”的艱難歲月。
1840年（清道光二十年），英國侵略中國的鴉片戰爭，打開了中國的大門。英國殖民者強佔了香港，勒索了鉅額賠款，取得了協定關稅、領事裁判、最惠國待遇等特權，迫使清政府開放沿海的廣州、廈門、福州、寧波、上海為通商口岸。中國從此逐步淪為半殖民地、半封建社會。1858年（清咸豐八年），英法聯軍侵佔大沽炮臺，進逼天津，清政府被迫簽訂《天津條約》，條約除喪權賠款外，開放牛莊、登州、臺南、淡水、湖州、瓊州、漢口、九江、南京、鎮江為通商口岸。外人可以在開放的口岸自由居住，租賃房屋，購買土地，建造禮拜堂和醫院，並可進入內地遊歷通商、傳教。這樣，外國侵略者就可以廣泛地深入到中國內地，在政治上、經濟上、軍事上、文化上、思想上進一步報略中國。 由於侵略者的勢力已進入到九江、漢口雖然廬山距海遊口一千餘里。很快就被他們發現是一個遊覽和避暑的勝地。而九江、漢口就成為他們進入廬山的門戶。
1885年（清光緒十一年），廬山開始被侵擾。當時在九江、漢口的教會、稅務司以及其他外人團體，瞭解到廬山是逃避夏季炎熱的最好的避暑勝地。他們先在山下，，繼在山麓，最後在山頂，佔地建屋。廬山被外國侵略者染指，就這樣開始了。
始作俑者，是俄國人。俄國商人發現，廬山北麓龍門山南的九峰寺附近，有一處短瀑懸流，也稱馬尾水，九峰寺周圍樹木茂密蔥鬱，氣候涼爽，風景極佳。於是迫使九峰寺匯東和尚同意把正殿背後的房屋和園地，租賃給他們，租期定為四十年。俄國人開始在這裡將僧舍改建為洋房，避暑休息。這次強迫租賃事件，並沒有經過官府。1888年（光緒十四年）4月18日，德化縣紳士何蘊章查實了俄國商人佔地建屋的事實，正式向官府告發，要求究辦。匯東和尚害怕獲罪，聞風逃走。俄國商人仍然繼續興工修建他們的洋房別墅，對何蘊章的控告不加理會。清政府昏聵，懾於沙俄的淫威，拿不出切實可行的辦法來處置這件事。只是待到三十年後，1917年俄國十月革命勝利，俄國商人逃走，九峰寺僧人才收回這塊土地，將洋房拆賣，來補償俄國人未繳的欠租。
英國傳教士李德立，步俄商後塵，也竄到九峰寺來盜買山場。這時匯東和尚已經潛逃，主持僧換了繼慈。繼慈在湘軍彭玉麟部做過樓船工和劊子手，殺人如削瓜。這時收起署刀做和尚，繼慈與李德立言語不合，“揮鐵柺杖擊之”，李德立害怕。原來，李德立想在附近的獅子庵購地，久無成議，才轉向九峰寺，這時仍不甘心，繼續糾纏，九峰寺僧貪圖微利，又想將地賣給他。正在合議，還沒有來得及稅契，德化縣紳士們得知。紳士們向官府告發，要求禁止售地，並逮捕售地者及中人下獄。李德立圖謀受挫，不得不放棄在九峰寺盜買土地的打算。
李德立在山下失敗，乃轉向山上。他由東林寺，經九十九盤路，到達廬山北部頂峰，竄至天池寺、黃龍寺、女兒城、牯牛嶺等處窺視踏看，見牯牛嶺東側長衝一帶，北有崇山屏擋，南向開闊，地勢平坦，林木茂盛，空氣清新，氣候涼爽，認為“地勢極佳”，是天然避暑勝地，較之山下更為優越。李德立透過中國教士、湖北人戴浩臣，同德化縣舉人萬和賡聯絡。萬和賡化名萬啟勳，將長衝等地四、五零零畝盜賣，李德立先付給萬和賡等地價銀一百元，也有說付給了一百六十元或二百元，答應在縣府繳納契約的稅款後，補給四百元。同時，以價值二百元的銀器，賄賂九江府同知兼洋務局委員盛富懷。德化縣衙門以為李德立是姓李名德立的中國人，同意其交 納簽訂契約的稅款。官府一旦稅契，就是承認合法。但隨即發現李德立是外國人，加以拒絕。李德立卻堅持不允，這是1885年（光緒十一年）間的事。
這時正當中法戰爭之際，清政府處於困境，應付法國的侵略已經力窮計竭，更不敢與英國人惹起事端。李德立依仗其英國殖民主義的勢力，不管德化縣官府是否同意，第二年擅自在廬山牯牛嶺修路建屋。九江府德化縣的群眾紛紛抗議，向官府告發。江西巡撫衙門不得已，派員來九江審訊，拘押了盜賣土地的當事人，盛富懷畏罪，吞金自殺，但是不敢處理案件。李德立一面透過九江英領事，，訴諸英國駐華公使，直接向清政府總理各國事務衙門交涉，一面 繼續進行建屋避暑計劃。李德立採取劃地分號，登報出售的辦法，將土現接難定的面積分成若干塊，按塊拍賣給各國在華外人，讓在華外人都能來廬山建屋避暑，企圖依靠列強的共同勢力，來霸佔鈷牛嶺。這就更加激怒了九江、德化的人民群眾。他們開始對上山避暑和策劃築路建屋的外國侵略分子攔路毆擊，放火燒燬臨時建築的木屋板棚，以及李德立的別墅。
這樣，事態擴大，延續數年，不得了結。1894 年（光緒二十年），清政府在中日戰爭中戰敗，不敢再得罪英國，總理各國事務衙門要求江西迅速結束這一案件。江西巡撫衙門乃採取屈辱退讓態度，在1895年（光緒二十一年） 11月16日，由九江分巡道與英國駐九江領事簽訂了出賣領事主權的《牯牛嶺案十二條》。協議規定將長衝一帶土地永遠租給英國人李德立建屋避暑，每年出租錢十二千文。但清政府需賠償李德立損失英洋四、一一五元。而在押的萬啟勳等人，從寬釋放。根據這一協議，李德立等英國殖民主義分子霸佔長衝一地完全合法化。
在長衝（即牯牛嶺東谷）強租土地以後，李德立等人組成牯嶺公司，將長衝土地劃分成若干號出售。每號合地三畝七分，售價三百元。幾年之內，全部售完。牯嶺公司營獲巨利。於是繼續強佔租借地四周地區，肆意擴張。1901年（光緒二十七年）時，已超出長衝原有界址四十餘丈，續佔士地多達有又租給李德千餘畝。1904 年（光緒三十年），清政府不得已，又租給李德立等草地坡地面七十九號，下衝地面五十三號，猴子嶺地面一十二號，大林沖地面一百號，共二百四十四號，每號合地三畝七分，總計九百零二畝八分。每號給地租二百元，歲租三元。1907年（光緒三十三年），李德立又強租醫生凸地面，自山下至山腰越長六十丈，寬約三十丈餘，每年僅給租錢一千文。這些擴租強佔的地區，都與長衝相接或在其附近，李德立修築大小道路，將其聯成一片，以加強控制。
長衝租借地事件之後，其他各國跟踵而來。1898年（光緒二十四年），美國傳教士海格思強租廬山醫生窪地面。直長五十丈，左右均至山腰，每年僅繳納租錢四千文。