84 lines
3.9 KiB
Bash
84 lines
3.9 KiB
Bash
|
#!/usr/bin/env bash
|
||
|
|
# data/download_cc100.sh
|
||
|
|
# CC-100 Korean 데이터 단독 다운로드 스크립트
|
||
|
|
#
|
||
|
|
# 버그 수정 내역 (build_korean_dataset.sh 대비):
|
||
|
|
# - cc100 데이터셋의 텍스트 컬럼명은 'text'가 아닌 'sentence' 임.
|
||
|
|
# build_korean_dataset.sh Step 1에서 --text_col text 로 잘못 지정되어
|
||
|
|
# 모든 행이 빈 문자열로 처리되는 버그가 있었음.
|
||
|
|
# 본 스크립트는 --text_col sentence 로 올바르게 지정한다.
|
||
|
|
#
|
||
|
|
# 실행 방법 (프로젝트 루트에서):
|
||
|
|
# bash data/download_cc100.sh
|
||
|
|
#
|
||
|
|
# 출력:
|
||
|
|
# data/raw/cc100_ko/cc100_train_XXXX.txt (100,000행 단위 샤드)
|
||
|
|
#
|
||
|
|
# 주의:
|
||
|
|
# - cc100_ko 디렉토리에 이미 .txt 파일이 있으면 다운로드를 건너뜀.
|
||
|
|
# - 대용량 파일은 /PROJECT/0325120031_A/ghong/taketimes/ 하위에만 저장할 것.
|
||
|
|
|
||
|
|
set -euo pipefail
|
||
|
|
|
||
|
|
# ─── 경로 설정 ────────────────────────────────────────────────────────────────
|
||
|
|
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
|
||
|
|
PROJECT_ROOT="$(dirname "$SCRIPT_DIR")"
|
||
|
|
cd "$PROJECT_ROOT"
|
||
|
|
|
||
|
|
RAW_DIR="data/raw"
|
||
|
|
CC100_DIR="$RAW_DIR/cc100_ko"
|
||
|
|
|
||
|
|
# ─── 다운로드 파라미터 ────────────────────────────────────────────────────────
|
||
|
|
CC100_MAX_ROWS=10000000 # 1,000만 행 (~1.5B 토큰 추정)
|
||
|
|
CC100_SHARD_SIZE=100000 # 샤드 당 행 수
|
||
|
|
CC100_TEXT_COL="sentence" # cc100 데이터셋의 실제 텍스트 컬럼명 (text 아님!)
|
||
|
|
|
||
|
|
# ─── 이미 완료된 경우 건너뜀 ─────────────────────────────────────────────────
|
||
|
|
echo "=== CC-100 Korean 다운로드 ==="
|
||
|
|
echo "프로젝트 루트: $PROJECT_ROOT"
|
||
|
|
echo "출력 디렉토리: $CC100_DIR"
|
||
|
|
echo ""
|
||
|
|
|
||
|
|
mkdir -p "$CC100_DIR"
|
||
|
|
|
||
|
|
# cc100_ko 디렉토리에 .txt 파일이 하나라도 있으면 스킵
|
||
|
|
EXISTING_COUNT=$(find "$CC100_DIR" -maxdepth 1 -name "*.txt" 2>/dev/null | wc -l)
|
||
|
|
if [ "$EXISTING_COUNT" -gt 0 ]; then
|
||
|
|
echo "[SKIP] $CC100_DIR 에 이미 ${EXISTING_COUNT}개 .txt 파일이 존재합니다."
|
||
|
|
echo " 재다운로드 하려면 해당 디렉토리를 비운 뒤 다시 실행하세요."
|
||
|
|
echo " rm -f \"$CC100_DIR\"/*.txt"
|
||
|
|
exit 0
|
||
|
|
fi
|
||
|
|
|
||
|
|
# ─── CC-100 다운로드 ──────────────────────────────────────────────────────────
|
||
|
|
echo "[다운로드] CC-100 Korean (max_rows=$CC100_MAX_ROWS, text_col=$CC100_TEXT_COL)..."
|
||
|
|
echo " 주의: HuggingFace cc100 데이터셋의 텍스트 컬럼명은 'sentence' 입니다."
|
||
|
|
echo ""
|
||
|
|
|
||
|
|
python data/download.py \
|
||
|
|
--dataset cc100 \
|
||
|
|
--subset ko \
|
||
|
|
--split train \
|
||
|
|
--text_col "$CC100_TEXT_COL" \
|
||
|
|
--output_dir "$CC100_DIR" \
|
||
|
|
--shard_size "$CC100_SHARD_SIZE" \
|
||
|
|
--max_rows "$CC100_MAX_ROWS"
|
||
|
|
|
||
|
|
# ─── 결과 확인 ────────────────────────────────────────────────────────────────
|
||
|
|
echo ""
|
||
|
|
FINAL_COUNT=$(find "$CC100_DIR" -maxdepth 1 -name "*.txt" 2>/dev/null | wc -l)
|
||
|
|
if [ "$FINAL_COUNT" -gt 0 ]; then
|
||
|
|
TOTAL_BYTES=$(du -sh "$CC100_DIR" 2>/dev/null | cut -f1)
|
||
|
|
echo "=== 완료 ==="
|
||
|
|
echo " 생성된 샤드 파일: ${FINAL_COUNT}개"
|
||
|
|
echo " 디렉토리 총 용량: ${TOTAL_BYTES}"
|
||
|
|
echo " 경로: $CC100_DIR"
|
||
|
|
echo ""
|
||
|
|
echo "다음 단계: CC-100 토크나이징 & 기존 데이터와 병합"
|
||
|
|
echo " bash data/tokenize_cc100.sh"
|
||
|
|
else
|
||
|
|
echo "ERROR: 다운로드 후 .txt 파일이 생성되지 않았습니다." >&2
|
||
|
|
echo " download.py 출력을 확인하고 cc100 데이터셋 접근 가능 여부를 점검하세요." >&2
|
||
|
|
exit 1
|
||
|
|
fi
|