JAVA - HttpURLConnection+parameter, getHttpHTML, 크롤러(crawler)

오늘은 웹 크롤러의 기본이 되는
웹페이지의 코드를 가져오는 URL코드에 대해서 알아보겠습니다.

HTTP 프로토콜을 이용해서 웹페이지를 서비스하는 방식에는 GET 또는 POST방식이 있습니다.
마찬가지로 저희가 java코드로 웹페이지의 소스를 파싱할려면
위 방식에 알맞는 코드를 사용해야합니다.

1. GET

---

GET방식은 페이지의 이동시 주소창에 Parameter가 들어있습니다.

http://PPD_ML/run_ga2.jsp?input_file_name=inp_file1004.txt

위와 같은 주소처럼 사용자가 주소를 알면 그냥 사면 되지만 상황에 따라 Parameter를 다르게 하여 파싱하고 싶다면 추가적인 작업을 해야합니다.
PS) 코드 중  param1=%s&param2=%s 부분이 업로드중 계속 깨지네요 . 복수의 Parameter 처리 시 &로 묶습니다.

private static String getHttpHTML_GET(String urlToRead) { URL url; HttpURLConnection conn; BufferedReader br; String line; String result = ""; String parameter = String.format("input_file_name=%s",URLEncoder.encode("input_file_name=inp_file1004.txt")); // String parameter = String.format("param1=%s¶m2=%s",URLEncoder.encode("param1"),URLEncoder.encode("param2")); try { //url = new URL(urlToRead); url = new URL(urlToRead + "?" + parameter); conn = (HttpURLConnection) url.openConnection(); conn.setRequestMethod("GET"); br = new BufferedReader(new InputStreamReader(conn.getInputStream(),"UTF-8")); // br = new BufferedReader(new InputStreamReader(conn.getInputStream(),"euc-kr")); while ((line = br.readLine()) != null) result += line + "\n"; br.close(); } catch (IOException e) { e.printStackTrace(); } catch (Exception e) { e.printStackTrace(); } return result; }

 

2. POST

---

POST방식은 보안상을 위해 Prarmeter를 URL이 아닌 스트림 기반의 데이터 저장공간에 매개변수를 실어 보내는 방식입니다. 따라서 GET과 다르게 주소창에 스트림을 추가하는 것이 아니라  HttpURLConnection에 POST 세팅을 하고 outputsteram에 실어 보내야합니다.
 private static String getHttpHTML_POST(String urlToRead) { URL url; HttpURLConnection conn; BufferedReader br; BufferedWriter bw; String line; String result = ""; String parameter = String.format("param1=%s¶m2=%s",URLEncoder.encode("param1"),URLEncoder.encode("param2")); try { url = new URL(urlToRead); conn = (HttpURLConnection) url.openConnection(); conn.setRequestMethod("POST"); conn.setDoInput(true); conn.setDoOutput(true); conn.setInstanceFollowRedirects(false); conn.setRequestProperty("Content-Type", "application/x-www-form-urlencoded"); //파라메터가 없으면 지워주면 된다. bw = new BufferedWriter(new OutputStreamWriter(conn.getOutputStream(), "UTF-8")); bw.write(parameter); //요기까지 br = new BufferedReader(new InputStreamReader(conn.getInputStream(),"UTF-8")); // br = new BufferedReader(new InputStreamReader(conn.getInputStream(),"euc-kr")); while ((line = br.readLine()) != null) result += line + "\n"; br.close(); } catch (IOException e) { e.printStackTrace(); } catch (Exception e) { e.printStackTrace(); } return result; }

 

 

3. Full Code 

---

import java.io.BufferedReader; import java.io.BufferedWriter; import java.io.IOException; import java.io.InputStreamReader; import java.io.OutputStreamWriter; import java.net.HttpURLConnection; import java.net.URL; import java.net.URLEncoder; public class test { private static final String rootAddr = "http://164.125.71.22:8080/PPD_ML/run_ga2.jsp"; private static String PageSource=null; public static void main(String[] args) { final String Queuesource = rootAddr; PageSource = getHttpHTML_GET(Queuesource); PageSource = getHttpHTML_POST(Queuesource); System.out.println(PageSource); } private static String getHttpHTML_GET(String urlToRead) { URL url; HttpURLConnection conn; BufferedReader br; String line; String result = ""; String parameter = String.format("input_file_name=%s",URLEncoder.encode("inp_file_1323792610_20160225131004.txt")); // String parameter = String.format("param1=%s¶m2=%s",URLEncoder.encode("param1"),URLEncoder.encode("param2")); try { //url = new URL(urlToRead); url = new URL(urlToRead + "?" + parameter); conn = (HttpURLConnection) url.openConnection(); conn.setRequestMethod("GET"); br = new BufferedReader(new InputStreamReader(conn.getInputStream(),"UTF-8")); // br = new BufferedReader(new InputStreamReader(conn.getInputStream(),"euc-kr")); while ((line = br.readLine()) != null) result += line + "\n"; br.close(); } catch (IOException e) { e.printStackTrace(); } catch (Exception e) { e.printStackTrace(); } return result; } private static String getHttpHTML_POST(String urlToRead) { URL url; HttpURLConnection conn; BufferedReader br; BufferedWriter bw; String line; String result = ""; String parameter = String.format("param1=%s¶m2=%s",URLEncoder.encode("param1"),URLEncoder.encode("param2")); try { url = new URL(urlToRead); conn = (HttpURLConnection) url.openConnection(); conn.setRequestMethod("POST"); conn.setDoInput(true); conn.setDoOutput(true); conn.setInstanceFollowRedirects(false); conn.setRequestProperty("Content-Type", "application/x-www-form-urlencoded"); //파라메터가 없으면 지워주면 된다. bw = new BufferedWriter(new OutputStreamWriter(conn.getOutputStream(), "UTF-8")); bw.write(parameter); //요기까지 br = new BufferedReader(new InputStreamReader(conn.getInputStream(),"UTF-8")); // br = new BufferedReader(new InputStreamReader(conn.getInputStream(),"euc-kr")); while ((line = br.readLine()) != null) result += line + "\n"; br.close(); } catch (IOException e) { e.printStackTrace(); } catch (Exception e) { e.printStackTrace(); } return result; } }

 

추가로 인증서가 포함된 페이지들은 인증서 없이는 위 코드들이 동작하지 않습니다. 만약 인증서가 포함된 페이지의 코드를 얻고 싶으신 분들은 http://twinw.tistory.com/43 의 글을 읽어 주시기 바랍니다.