芥川山城は､永正12年(1515)室町幕府の管領細川高国が西国勢と北摂武士団の押さえとして配下の土豪･能勢因幡守頼則に築かせた城砦である。
大永6年（1526)細川高国は､一族の細川尹賢の「家臣の香西元盛が細川晴元や三好元長に内通を約している」と云う讒言を信じ元盛を自害させた。これに激怒した元盛の兄･波多野稙通､柳本賢治らが反乱を起こし､丹波から京都へ向かう途中､摂津の城々を降伏開城させ､この際に芥川山城の能勢国頼も開城し退去したとされる。翌大永7年(1527)高国は桂川原の合戦に敗れ､将軍義晴とともに近江へと逃れた。
天文2年(1533)芥川山城に細川晴元が入り､天文5年(1536)まで在城した。晴元は管領職となって権勢を振るったが､天文16年(1547年)配下の三好長慶が離反して芥川山城はその勢力下に置かれた。しかし､芥川山城主とした三好一族の芥川孫十郎が細川晴元に呼応したため､天文22年(1553年)三好長慶は芥川山城を攻め落とし､畿内支配の拠点として本格的な山城に改築し､自らの居城とした。
永禄3年(1560)長慶は飯盛山城へ居城を移し､芥川山城には嫡男･義興を置いた。しかし､永禄6年(1563)義興は22才の若さで病没､永禄11年(1568)には織田信長が摂津へ侵攻､三好長逸･細川昭元らが籠城するも芥川山城は落城した。信長家臣の和田惟政(和田城)が城主となったが､翌年高槻城へ移り､芥川山城には家臣の高山飛騨守友照を置いた。
元亀2年(1571)和田惟政は三好三人衆と結んだ池田知正を討つべく出陣し､白井河原で合戦に及んだが､池田家臣の荒木村重に討たれた。家督を継いだ和田惟長は家臣の高山飛騨守右近に追放され､元亀4年(1573)高山氏が高槻城を居城としたため､芥川山城は廃城となった。