어떤 봇이 오고 갔는지 알 방법이 없을까요?

사이트가 5월부터 대역폭 사용량이 너무 많아져서 확인해보니 방문자가 서버 IP로 남더라구요

씨패널을 보니까 봇들이 왔다 간 흔적은 방문자에 서버 IP로 남는 것 같더라구요 (원시 액세스를 확인해보아도 서버IP로 기록이 되어있습니다.)

그중에서 ahrefsbot이 원시 액세스에서 가장 큰 비중을 차지하길래 robots.txt 로 블락하고?awstats를 통해 확인해보니 봇들이 어떤게 왔다 갔는지 알 수가 있었어요. 그런데 원시 액세스에서 있던 ahrefsbot 은 없고 다른 봇이 엄청난 비중을 차지하고 있었습니다. (스샷)

저는 ahrefsbot이 저 맨 위에 가장 많은 전송량을 차지하는 줄 알았는데 맨 밑에가 robots.txt 에 막혔다는 소리같은데 그러면 맨 아래가?ahrefsbot이라는 소린데?제가 robots.txt를 8월 28일 자정 좀 넘어서 추가한 것 같은데 맨 위에 있는 봇은 읽지도 않았다는거 보면 robots.txt 로도 못막나요??어떻게 조치를 취하나요? robot이 저 봇의 이름인가요?