OneclickAI commited on
Commit
39c2220
·
verified ·
1 Parent(s): 3bfc846

Upload 3 files

Browse files
Files changed (3) hide show
  1. config.json +6 -0
  2. test.py +94 -0
  3. train.py +96 -0
config.json ADDED
@@ -0,0 +1,6 @@
 
 
 
 
 
 
 
1
+ {
2
+
3
+ model : {},
4
+ layers : {},
5
+
6
+ }
test.py ADDED
@@ -0,0 +1,94 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ # test.py (오류 수정 최종 코드)
2
+
3
+ import numpy as np
4
+ import tensorflow as tf
5
+ from tensorflow import keras
6
+ # from_pretrained_keras 대신 hf_hub_download를 사용합니다.
7
+ from huggingface_hub import hf_hub_download
8
+
9
+ print("TensorFlow 버전:", tf.__version__)
10
+
11
+ # 1. Hugging Face Hub에서 모델 파일 다운로드 후 로드
12
+ REPO_ID = "OneclickAI/LSTM_GUE_test_Model"
13
+ print(f"\n'{REPO_ID}' 저장소에서 모델 파일의 위치를 확인합니다...")
14
+
15
+ try:
16
+ # 1단계: hf_hub_download로 파일의 로컬 캐시 경로를 가져옵니다.
17
+ # 파일이 이미 다운로드 되었다면, 다운로드를 생략하고 경로만 즉시 반환합니다.
18
+ print("LSTM 모델 경로 확인 중...")
19
+ lstm_model_path = hf_hub_download(repo_id=REPO_ID, filename="lstm_model.keras")
20
+ print(f"LSTM 모델 파일 위치: {lstm_model_path}")
21
+
22
+ print("GRU 모델 경로 확인 중...")
23
+ gru_model_path = hf_hub_download(repo_id=REPO_ID, filename="gru_model.keras")
24
+ print(f"GRU 모델 파일 위치: {gru_model_path}")
25
+
26
+ # 2단계: 다운로드된 파일 경로를 Keras의 표준 load_model 함수로 직접 로드합니다.
27
+ print("\nKeras로 모델을 로드합니다...")
28
+ lstm_model = keras.models.load_model(lstm_model_path)
29
+ gru_model = keras.models.load_model(gru_model_path)
30
+
31
+ print("모델을 성공적으로 로드했습니다.")
32
+
33
+ except Exception as e:
34
+ print(f"모델 로딩 중 오류 발생: {e}")
35
+ print("인터넷 연결 및 저장소 ID, 파일명을 확인해주세요.")
36
+ exit()
37
+
38
+ # IMDB 데이터셋의 단어 인덱스 로드 ('단어': 정수)
39
+ word_index = keras.datasets.imdb.get_word_index()
40
+
41
+ # 2. 예측할 리뷰 문장 정의
42
+ review1 = "This movie was fantastic and wonderful. I really enjoyed it."
43
+ review2 = "It was a complete waste of time. The plot was terrible and the acting was bad."
44
+
45
+ # 3. 문장 전처리 함수
46
+ def preprocess_text(text, word_index, maxlen=256):
47
+ """
48
+ 텍스트를 모델이 이해할 수 있는 정수 시퀀스로 변환하고 패딩합니다.
49
+ """
50
+ # 문장을 소문자로 변환하고 단어 단위로 분할
51
+ tokens = text.lower().split()
52
+
53
+ # 각 단어를 정수 인덱스로 변환 (word_index에 없으면 2번 인덱스'<unk>' 사용)
54
+ token_indices = [word_index.get(word, 2) for word in tokens]
55
+
56
+ # 시퀀스 패딩
57
+ padded_sequence = keras.preprocessing.sequence.pad_sequences([token_indices], maxlen=maxlen)
58
+
59
+ return padded_sequence
60
+
61
+ # 4. 모델 예측 및 결과 출력 함수
62
+ def predict_review(review_text, model, model_name):
63
+ """
64
+ 전처리된 텍스트를 사용하여 감성 분석을 수행하고 결과를 출력합니다.
65
+ """
66
+ # 문장 전처리
67
+ processed_review = preprocess_text(review_text, word_index)
68
+
69
+ # 예측 수행
70
+ prediction = model.predict(processed_review, verbose=0) # 예측 시 로그 출력을 끔
71
+ positive_probability = prediction[0][0] * 100
72
+
73
+ print(f"--- {model_name} 모델 예측 결과 ---")
74
+ print(f"리뷰: '{review_text}'")
75
+ print(f"긍정 확률: {positive_probability:.2f}%")
76
+ if positive_probability > 50:
77
+ print("결과: 긍정적인 리뷰입니다.")
78
+ else:
79
+ print("결과: 부정적인 리뷰입니다.")
80
+ print("-" * 30)
81
+
82
+ # 5. 각 리뷰에 대해 두 모델로 예측 수행
83
+ print("\n" + "="*40)
84
+ print("첫 번째 리뷰 예측 시작")
85
+ print("="*40)
86
+ predict_review(review1, lstm_model, "LSTM")
87
+ predict_review(review1, gru_model, "GRU")
88
+
89
+
90
+ print("\n" + "="*40)
91
+ print("두 번째 리뷰 예측 시작")
92
+ print("="*40)
93
+ predict_review(review2, lstm_model, "LSTM")
94
+ predict_review(review2, gru_model, "GRU")
train.py ADDED
@@ -0,0 +1,96 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ import numpy as np
2
+ import tensorflow as tf
3
+ from tensorflow import keras
4
+ from keras import layers
5
+
6
+ print("TensorFlow 버전:", tf.__version__)
7
+
8
+ # 1. 데이터 로드 및 전처리
9
+ print("\n1. 데이터 로드 및 전처리를 시작합니다...")
10
+ # num_words=10000: 가장 빈도가 높은 1만 개의 단어만 사용
11
+ (x_train, y_train), (x_test, y_test) = keras.datasets.imdb.load_data(num_words=10000)
12
+
13
+ print(f"학습 데이터 개수: {len(x_train)}")
14
+ print(f"테스트 데이터 개수: {len(x_test)}")
15
+
16
+ # 문장의 길이를 동일하게 맞추기 위해 패딩(padding) 처리 (maxlen=256)
17
+ x_train = keras.preprocessing.sequence.pad_sequences(x_train, maxlen=256)
18
+ x_test = keras.preprocessing.sequence.pad_sequences(x_test, maxlen=256)
19
+ print("데이터 전처리가 완료되었습니다.")
20
+
21
+ # 2. LSTM 모델 생성, 학습 및 저장
22
+ print("\n2. LSTM 모델 학습을 시작합니다...")
23
+
24
+ # LSTM 모델 아키텍처 정의
25
+ lstm_model = keras.Sequential([
26
+ layers.Embedding(input_dim=10000, output_dim=128),
27
+ layers.LSTM(64),
28
+ layers.Dense(1, activation="sigmoid")
29
+ ])
30
+
31
+ # 모델 컴파일
32
+ lstm_model.compile(
33
+ loss="binary_crossentropy",
34
+ optimizer="adam",
35
+ metrics=["accuracy"]
36
+ )
37
+
38
+ print("\n--- LSTM 모델 구조 ---")
39
+ lstm_model.summary()
40
+
41
+ # 모델 학습
42
+ batch_size = 128
43
+ epochs = 1 # 예제이므로 epoch를 줄여서 실행 시간을 단축합니다.
44
+ history_lstm = lstm_model.fit(
45
+ x_train, y_train,
46
+ batch_size=batch_size,
47
+ epochs=epochs,
48
+ validation_data=(x_test, y_test)
49
+ )
50
+
51
+ # 모델 평가
52
+ score_lstm = lstm_model.evaluate(x_test, y_test, verbose=0)
53
+ print(f"\nLSTM 모델 테스트 결과 -> Loss: {score_lstm[0]:.4f}, Accuracy: {score_lstm[1]:.4f}\n")
54
+
55
+ # 학습된 LSTM 모델 저장
56
+ lstm_model.save("lstm_model.keras")
57
+ print("LSTM 모델이 'lstm_model.keras' 파일로 저장되었습니다.")
58
+
59
+
60
+ # 3. GRU 모델 생성, 학습 및 저장
61
+ print("\n3. GRU 모델 학습을 시작합니다...")
62
+
63
+ # GRU 모델 아키텍처 정의
64
+ gru_model = keras.Sequential([
65
+ layers.Embedding(input_dim=10000, output_dim=128),
66
+ layers.GRU(64),
67
+ layers.Dense(1, activation="sigmoid")
68
+ ])
69
+
70
+ # 모델 컴파일
71
+ gru_model.compile(
72
+ loss="binary_crossentropy",
73
+ optimizer="adam",
74
+ metrics=["accuracy"]
75
+ )
76
+
77
+ print("\n--- GRU 모델 구조 ---")
78
+ gru_model.summary()
79
+
80
+
81
+ # 모델 학습
82
+ history_gru = gru_model.fit(
83
+ x_train, y_train,
84
+ batch_size=batch_size,
85
+ epochs=epochs,
86
+ validation_data=(x_test, y_test)
87
+ )
88
+
89
+ # 모델 평가
90
+ score_gru = gru_model.evaluate(x_test, y_test, verbose=0)
91
+ print(f"\nGRU 모델 테스트 결과 -> Loss: {score_gru[0]:.4f}, Accuracy: {score_gru[1]:.4f}")
92
+
93
+
94
+ # 학습된 GRU 모델 저장
95
+ gru_model.save("gru_model.keras")
96
+ print("GRU 모델이 'gru_model.keras' 파일로 저장되었습니다.")