20世紀初到20世紀40年代，哈爾濱不僅是有名的國際都市，也是冒險家的樂園，雅客紳士、名媛交際、達官貴族、富商豪強紛紛來到哈爾濱。這裡，既是中西貿易的視窗、文化交匯的福地，也是冒險家的樂園、陰謀家的舞臺。

蘇聯元帥崔可夫說，那時的哈爾濱是“走私和間諜活動中心。”他曾於1926年以外交的身份來哈爾濱。的確，在哈爾濱，世界各國政府，民間情報組織，或縱橫捭闔於酒桌舞池，或陰謀計劃於密室暗屋，或偷窺竊聽於臺前幕後，或綁架暗殺於街頭巷尾，上演了一個又一個驚悚駭人的諜戰戲。

1903年7月中東鐵路開通，哈爾濱作是丁字形鐵路的總埠，哈爾濱工商業應運而生，很快成為中國東北經濟的中心。1907年出現了哈爾濱國際交易所，哈爾濱的麵粉、制油暢銷世界，世界各個國家都來哈爾濱進行交易。到1913年，哈爾濱城市人口已達25萬，外國人佔到了60%以上，有近30個國家的僑民來到這裡，各種歐式風格的建築遍佈整座城市，很多國家把領事館也設在了哈爾濱，負責中國東北和俄國遠東地區的外交、經貿和情報事務，把新興的哈爾濱變成了間諜之都。

這些領事館表面上是主持外交工作，與中國官方對接，但是，他們卻在暗地裡進行諜報工作，成為披著合法外衣的間諜機構。

日本派駐哈爾濱領事開始於1907年，領事館從設立伊始，就附屬有情報部門和保衛部門，二者以領事為頭目，負有蒐集情報的職責，這是日本人的傳統，駕輕就熟，同時，服務於日本政府的“大陸政策“。

1924年9月第二次直奉戰爭爆發，1925年郭松齡起兵反奉，東北軍閥和蘇聯圍繞中東鐵路交涉時期，駐哈爾濱的日本領事館給國內傳回了大量情報。據史料記載：“日本駐哈爾濱領事館1924年以後遷至義州街27號，總領事館內設警察署特高系，隸屬於日本外務省特務系統。豢養了一批特務和外事警察，設立百餘人的地下室拘留所，設有刑訊室、刑具室等。”

日本駐哈爾濱總領事館設立於1907年2月5日，地點在南崗義州街27號，1936年2月26日遷到車站街滿鐵事務所樓內。

當時，日本駐哈總領事館的規模在哈爾濱市外國領事館裡是最大的，日本政府非常重視這個領事館，在一定程度上，領事館領導了中國東北各民間間諜組織和“滿鐵”調查部的工作，併成為情報中心，在關東軍沒有成立之前，是中國東北和俄國遠東地區最重要的諜報機關，為遏制俄國對中國東北的侵蝕，讓日本在東北的勢力逐漸做大，發揮了很大作用。

日本領事館除了總領事、副總領事外，還設有司法領事，下設警察署和特務組織特高課，其總領事大部分是高階特務。1932年2月，日本侵佔哈爾濱後，領事館的警察署逐漸擴大，變成了同日偽警察局、日本憲兵隊平行的法西斯組織，參與了對中國一系列重要事件，也包括對沙皇俄國、蘇維埃政權、共產國際活動、中共早期黨組織地下活動的刺探和破壞活動。

1937年後，日本人開始全面侵華，此時的日本哈爾濱總領事館的職能進一步擴大，領事館的地下監獄變成了為日本帝國主義和法西斯服務的工具，成為鎮壓、逮捕、刑訊愛國人士和進步人士的秘密場所，很多人為此犧牲了自己的生命。同時，領事館利用自身優勢，與臭名昭著的“731部隊”合作，成為“731部隊”集中和輸送細菌工廠做試驗的活人轉運站。直到1945年8月關閉，日本駐哈爾濱總領事館一直是殘害中國人民的魔窟。

日本哈爾濱領事館不是哈爾濱第一個領事館，俄國領事館是哈爾濱第一個外國領事館，美國領事館是第二個，日本領事館是第三個，在爾濱這片土地上曾經存在過19個國家的領事館。俄國是第一個設領事館的國家，在這之後，美國、日本、法國、西班牙、德國、英國、比利時、荷蘭、丹麥、瑞典、捷克斯洛伐克、愛沙尼亞、拉脫維亞、義大利、葡萄牙、立陶宛、波蘭、匈牙利也在哈爾濱設立了領事館。