19 مارس 2025
كيف قدمنا 50 لغة
عندما شرعنا في جعل موقعنا المبني على GoHugo.io متعدد اللغات، أردنا طريقة فعالة وقابلة للتوسع وذات تكلفة معقولة لإنشاء الترجمات. بدلاً من ترجمة كل صفحة يدوياً، استخدمنا واجهة برمجة التطبيقات OpenAI لأتمتة العملية. تستعرض هذه المقالة كيف دمجنا OpenAI API مع Hugo، باستخدام قالب HugoPlate من Zeon Studio، لتوليد الترجمات بسرعة ودقة.
لماذا اخترنا OpenAI API للترجمة
غالبًا ما تتطلب خدمات الترجمة التقليدية جهداً يدويًا كبيرًا، وأدوات الترجمة الآلية مثل Google Translate، رغم فائدتها، لا توفر دائماً مستوى التخصيص الذي نحتاجه. سمحت لنا واجهة OpenAI API بـ:
- أتمتة الترجمات بالجملة
- تخصيص أسلوب الترجمة
- الحفاظ على تحكم أفضل في الجودة
- التكامل بسلاسة مع موقعنا المبني على Hugo
- تمييز صفحات فردية لإعادة الترجمة
- إضافة لغات جديدة بأقل جهد ممكن
العملية خطوة بخطوة
1. تحضير موقع Hugo
كان موقعنا معدًا بالفعل باستخدام قالب HugoPlate، الذي يدعم الوظائف متعددة اللغات. كانت الخطوة الأولى تفعيل دعم اللغات في ملف config/_default/languages.toml الخاص بـ Hugo:
```toml
################ English language ##################
[en]
languageName = "English"
languageCode = "en-us"
contentDir = "content/english"
weight = 1
################ Arabic language ##################
[ar]
languageName = "العربية"
languageCode = "ar"
contentDir = "content/arabic"
languageDirection = 'rtl'
weight = 2
```
يضمن هذا الإعداد أن Hugo يمكنه توليد نسخ منفصلة من المحتوى لكل لغة.
2. أتمتة الترجمات باستخدام OpenAI API
قمنا بتطوير سكريبت Bash لأتمتة ترجمة ملفات Markdown. يقوم هذا السكريبت بـ:
- قراءة ملفات
.mdالإنجليزية من مجلد المصدر. - استخدام OpenAI API لترجمة النص مع الحفاظ على تنسيق Markdown.
- كتابة المحتوى المترجم إلى مجلدات اللغات المناسبة.
- تتبع حالة الترجمة باستخدام ملف JSON.
إليكم سكريبت bash الخاص بنا لأتمتة الترجمات. لا تترددوا في استخدامه وتعديله حسب حاجتكم:
```bash
# MIT License
# Copyright (c) 2024 Williston Technical Inc.
#
# Permission is hereby granted, free of charge, to any person obtaining a copy
# of this software and associated documentation files (the "Software"), to deal
# in the Software without restriction, including without limitation the rights
# to use, copy, modify, merge, publish, distribute, sublicense, and/or sell
# copies of the Software, and to permit persons to whom the Software is
# furnished to do so, subject to the following conditions:
#
# The above copyright notice and this permission notice shall be included in all
# copies or substantial portions of the Software.
#
# THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
# IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
# FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
# AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
# LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
# OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
# SOFTWARE.
#!/bin/bash
# ===========================================
# Hugo Content Translation and Update Script (Sequential Processing & New-Language Cleanup)
# ===========================================
# This script translates Hugo Markdown (.md) files from English to all supported target languages
# sequentially (one file at a time). It updates a JSON status file after processing each file.
# At the end of the run, it checks translation_status.json and removes any language from
# translate_new_language.txt only if every file for that language is marked as "success".
# ===========================================
set -euo pipefail
# --- Simple Logging Function (writes to stderr) ---
log_step() {
echo "[$(date '+%Y-%m-%d %H:%M:%S')] $*" >&2
}
# --- Environment Setup ---
export PATH="/opt/homebrew/opt/coreutils/libexec/gnubin:$PATH"
# (Removed "Script starting." log)
SCRIPT_DIR="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
log_step "SCRIPT_DIR set to: $SCRIPT_DIR"
if [ -f "$SCRIPT_DIR/.env" ]; then
log_step "Loading environment variables from .env"
set -o allexport
source "$SCRIPT_DIR/.env"
set +o allexport
fi
# Load new languages from translate_new_language.txt (if available)
declare -a NEW_LANGUAGES=()
if [ -f "$SCRIPT_DIR/translate_new_language.txt" ]; then
while IFS= read -r line || [[ -n "$line" ]]; do
NEW_LANGUAGES+=("$line")
done <"$SCRIPT_DIR/translate_new_language.txt"
else
log_step "No new languages file found; proceeding with empty NEW_LANGUAGES."
fi
API_KEY="${OPENAI_API_KEY:-}"
if [ -z "$API_KEY" ]; then
log_step "❌ Error: OPENAI_API_KEY environment variable is not set."
exit 1
fi
# Supported Languages (full list)
SUPPORTED_LANGUAGES=("ar" "bg" "bn" "cs" "da" "de" "el" "es" "fa" "fi" "fr" "ha" "he" "hi" "hr" "hu" "id" "ig" "it" "ja" "ko" "ml" "mr" "ms" "nl" "no" "pa" "pl" "pt" "ro" "ru" "sk" "sn" "so" "sr" "sv" "sw" "ta" "te" "th" "tl" "tr" "uk" "vi" "xh" "yo" "zh" "zu")
STATUS_FILE="$SCRIPT_DIR/translation_status.json"
SRC_DIR="$SCRIPT_DIR/Content/english"
log_step "Source directory: $SRC_DIR"
# Check dependencies
for cmd in jq curl; do
if ! command -v "$cmd" >/dev/null 2>&1; then
log_step "❌ Error: '$cmd' is required. Please install it."
exit 1
fi
done
MAX_RETRIES=5
WAIT_TIME=2 # seconds
# Create/initialize status file if missing
if [ ! -f "$STATUS_FILE" ]; then
echo "{}" >"$STATUS_FILE"
log_step "Initialized status file at: $STATUS_FILE"
fi
# --- Locking for Status Updates ---
lock_status() {
local max_wait=10
local start_time
start_time=$(date +%s)
while ! mkdir "$STATUS_FILE.lockdir" 2>/dev/null; do
sleep 0.01
local now
now=$(date +%s)
if ((now - start_time >= max_wait)); then
log_step "WARNING: Lock wait exceeded ${max_wait}s. Forcibly removing stale lock."
rm -rf "$STATUS_FILE.lockdir"
fi
done
}
unlock_status() {
rmdir "$STATUS_FILE.lockdir"
}
update_status() {
local file_path="$1" lang="$2" status="$3"
lock_status
jq --arg file "$file_path" --arg lang "$lang" --arg status "$status" \
'.[$file][$lang] = $status' "$STATUS_FILE" >"$STATUS_FILE.tmp" && mv "$STATUS_FILE.tmp" "$STATUS_FILE"
unlock_status
}
# --- Translation Function ---
translate_text() {
local text="$1" lang="$2"
local retry_count=0
while [ "$retry_count" -lt "$MAX_RETRIES" ]; do
user_message="Translate the following text to $lang. Preserve all formatting exactly as in the original.
$text"
json_payload=$(jq -n \
--arg system "Translate from English to $lang. Preserve original formatting exactly." \
--arg user_message "$user_message" \
'{
"model": "gpt-4o-mini",
"messages": [
{"role": "system", "content": $system},
{"role": "user", "content": $user_message}
],
"temperature": 0.3
}')
response=$(curl -s https://api.openai.com/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $API_KEY" \
-d "$json_payload")
log_step "📥 Received API response."
local error_type
error_type=$(echo "$response" | jq -r '.error.type // empty')
local error_message
error_message=$(echo "$response" | jq -r '.error.message // empty')
if [ "$error_type" == "insufficient_quota" ]; then
sleep "$WAIT_TIME"
retry_count=$((retry_count + 1))
elif [[ "$error_type" == "rate_limit_reached" || "$error_type" == "server_error" || "$error_type" == "service_unavailable" ]]; then
sleep "$WAIT_TIME"
retry_count=$((retry_count + 1))
elif [ "$error_type" == "invalid_request_error" ]; then
return 1
elif [ -z "$error_type" ]; then
if ! translated_text=$(echo "$response" | jq -r '.choices[0].message.content' 2>/dev/null); then
return 1
fi
if [ "$translated_text" == "null" ] || [ -z "$translated_text" ]; then
return 1
else
translated_text=$(echo "$translated_text" | sed -e 's/^```[[:space:]]*//; s/[[:space:]]*```$//')
echo "$translated_text"
return 0
fi
else
return 1
fi
done
return 1
}
# --- Process a Single File (Sequential Version) ---
process_file() {
local src_file="$1" target_file="$2" lang="$3" rel_src="$4"
# If target file exists and is non-empty, mark status as success.
if [ -s "$target_file" ]; then
update_status "$rel_src" "$lang" "success"
return 0
fi
content=$(<"$src_file")
if [[ "$content" =~ ^[---|\+\+\+]([:space:)]*$ ]] && [[ "$content" =~ [[:space:]]*[---|\+\+\+\+]([:space:)]*$ ]]; then
front_matter=$(echo "$content" | sed -n '/^\(---\|\+\+\+\)$/,/^\(---\|\+\+\+\)$/p')
body_content=$(echo "$content" | sed -n '/^\(---\|\+\+\+\)$/,/^\(---\|\+\+\+\)$/d')
else
front_matter=""
body_content="$content"
fi
log_step "Translating [$rel_src] to $lang..."
translated_body=$(translate_text "$body_content" "$lang")
if [ $? -ne 0 ]; then
update_status "$rel_src" "$lang" "failed"
return 1
fi
mkdir -p "$(dirname "$target_file")"
if [ -n "$front_matter" ]; then
echo -e "$front_matter
$translated_body" >"$target_file"
else
echo -e "$translated_body" >"$target_file"
fi
updated_content=$(echo "$content" | sed -E 's/^retranslate:\s*true/retranslate: false/')
echo "$updated_content" >"$src_file"
update_status "$rel_src" "$lang" "success"
}
# --- Main Sequential Processing ---
ALL_SUCCESS=true
for TARGET_LANG in "${SUPPORTED_LANGUAGES[@]}"; do
log_step "Processing language: $TARGET_LANG"
TARGET_DIR="$SCRIPT_DIR/Content/$TARGET_LANG"
while IFS= read -r -d '' src_file; do
rel_src="${src_file#$SCRIPT_DIR/}"
target_file="$TARGET_DIR/${src_file#$SRC_DIR/}"
# If file is marked not to retranslate, check that target file exists and is non-empty.
if ! [[ " ${NEW_LANGUAGES[@]:-} " =~ " ${TARGET_LANG} " ]] && grep -q '^retranslate:\s*false' "$src_file"; then
if [ -s "$target_file" ]; then
update_status "$rel_src" "$TARGET_LANG" "success"
else
update_status "$rel_src" "$TARGET_LANG" "failed"
fi
continue
fi
process_file "$src_file" "$target_file" "$TARGET_LANG" "$rel_src"
done < <(find "$SRC_DIR" -type f -name "*.md" -print0)
done
log_step "Translation run completed."
end_time=$(date +%s)
duration=$((end_time - $(date +%s)))
log_step "Execution Time: $duration seconds"
if [ "$ALL_SUCCESS" = true ]; then
log_step "🎉 Translation completed successfully for all supported languages!"
else
log_step "⚠️ Translation completed with some errors."
fi
# --- Clean Up Fully Translated New Languages ---
if [ -f "$SCRIPT_DIR/translate_new_language.txt" ]; then
log_step "Cleaning up fully translated new languages..."
for lang in "${NEW_LANGUAGES[@]:-}"; do
incomplete=$(jq --arg lang "$lang" 'to_entries[] | select(.value[$lang] != null and (.value[$lang] != "success")) | .key' "$STATUS_FILE")
if [ -z "$incomplete" ]; then
log_step "All translations for new language '$lang' are marked as success. Removing from translate_new_language.txt."
sed -E -i '' "/^[[:space:]]*$lang[[:space:]]*$/d" "$SCRIPT_DIR/translate_new_language.txt"
else
log_step "Language '$lang' still has incomplete translations."
fi
done
fi
```
3. إدارة حالة الترجمة
لتجنب الترجمات المكررة وتتبع التقدم، استخدمنا ملف JSON (translation_status.json). يقوم السكريبت بتحديث هذا الملف بعد معالجة كل مستند، مما يضمن ترجمة المحتوى الجديد أو المحدث فقط.
4. التعامل مع الأخطاء وحدود معدل API
قمنا بتنفيذ آليات إعادة المحاولة والتعامل مع الأخطاء لمواجهة حدود المعدل، فشل API، ومشاكل الحصص. ينتظر السكريبت قبل إعادة المحاولة إذا أعاد OpenAI API خطأ مثل rate_limit_reached أو service_unavailable.
5. النشر
بمجرد توليد المحتوى المترجم، يؤدي تشغيل الأمر hugo --minify إلى بناء الموقع الثابت متعدد اللغات، جاهز للنشر.
التحديات والحلول
1. دقة الترجمة
على الرغم من أن ترجمات OpenAI كانت دقيقة بشكل عام، قد تحتاج بعض المصطلحات التقنية إلى مراجعة يدوية، لكننا فريق مكون من شخصين فقط، لذا نأمل الأفضل. قمنا بضبط المطالبات للحفاظ على السياق والنبرة.
2. مشاكل التنسيق
أحيانًا يتغير تنسيق Markdown أثناء الترجمة. لإصلاح ذلك، أضفنا منطق معالجة لاحقة للحفاظ على التنسيق.
3. تحسين تكلفة API
لتقليل التكاليف، طبقنا التخزين المؤقت لتجنب إعادة ترجمة المحتوى غير المتغير.
4. التعامل مع إعادة الترجمات بكفاءة
لإعادة ترجمة صفحات محددة، أضفنا معامل retranslate: true في بيانات الرأس (front matter). يقوم السكريبت بإعادة ترجمة الصفحات المعلمة فقط. هذا يسمح لنا بتحديث الترجمات حسب الحاجة دون الحاجة لإعادة ترجمة الموقع بأكمله.
الخاتمة
من خلال دمج OpenAI API مع Hugo، أتممنا ترجمة موقعنا مع الحفاظ على الجودة والمرونة. وفرت هذه الطريقة الوقت، ضمنت الاتساق، ومكنت من التوسع بسهولة. إذا كنت ترغب في جعل موقع Hugo الخاص بك متعدد اللغات، فإن API الخاص بـ OpenAI يقدم حلاً قوياً.