Wget Tips
- wget 관련 팁
wget으로 사이트를 긁고싶어요
$ wget --user-agent=AGENT --mirror -Yoff 솨이트주소 -np -nH -o ~/wget.log
- -Yoff :: proxy mode를 끈다
- --mirror :: -m 으로 쓰기도 한다. 다 긁어온다
- --user-agent=AGENT :: 브라우저 agent를 변경한다. 가끔 wget이 막힌 사이트인경우 유용하다.
- -np :: 상위디렉토리까지 긁는걸 막아준다. (서버 관리자 입장에서는 환장할 지경일테니 신경써준다)
- -nH :: site의 URL이 포함된 디렉토리를 생성하는걸 막아준다.
- -o :: wget으로 긁는 출력을 파일로 저장한다. log처럼 쓰면 된다