أتمتة Web Scraping بكلود AI — دليل عملي شامل

# Node.js — تثبيت Cheerio و Axios
npm init -y
npm install cheerio axios

# أو تثبيت Playwright
npm install playwright
npx playwright install chromium

# Python — تثبيت Beautiful Soup و Requests
pip install beautifulsoup4 requests lxml

const axios = require('axios');
const cheerio = require('cheerio');

async function scrapeArticles(url) {
  try {
    // جلب محتوى الصفحة
    const { data } = await axios.get(url, {
      headers: {
        // تقليد متصفح حقيقي
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
        'Accept-Language': 'ar,en;q=0.9'
      }
    });

    const $ = cheerio.load(data);
    const articles = [];

    // استخراج كل مقال — selectors كلود ساعدنا في إيجادها
    $('article.post-card').each((i, el) => {
      const article = {
        title:  $(el).find('h2.post-title a').text().trim(),
        link:   $(el).find('h2.post-title a').attr('href'),
        date:   $(el).find('time.published').attr('datetime'),
        excerpt: $(el).find('p.post-excerpt').text().trim()
      };
      if (article.title) articles.push(article);
    });

    console.log(`تم استخراج ${articles.length} مقال`);
    return articles;

  } catch (err) {
    console.error('خطأ في السكرابينج:', err.message);
    return [];
  }
}

// تشغيل السكرابينج وحفظ النتائج
scrapeArticles('https://example-news.com/latest')
  .then(articles => {
    const fs = require('fs');
    fs.writeFileSync('articles.json', JSON.stringify(articles, null, 2));
    console.log('تم الحفظ في articles.json');
  });

const { chromium } = require('playwright');

async function scrapeProductPrice(productUrl) {
  const browser = await chromium.launch({
    headless: true,
    args: ['--no-sandbox', '--disable-setuid-sandbox']
  });

  const context = await browser.newContext({
    userAgent: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36',
    locale: 'ar-EG',
    // حجم نافذة حقيقي لتجنب الكشف
    viewport: { width: 1366, height: 768 }
  });

  const page = await context.newPage();

  try {
    await page.goto(productUrl, {
      waitUntil: 'networkidle',
      timeout: 30000
    });

    // انتظر ظهور عنصر السعر
    await page.waitForSelector('.price-current', { timeout: 10000 });

    const productData = await page.evaluate(() => {
      const getText = (sel) => document.querySelector(sel)?.textContent?.trim() || '';

      return {
        name:       getText('h1.product-title'),
        price:      getText('.price-current'),
        oldPrice:   getText('.price-old'),
        discount:   getText('.discount-badge'),
        inStock:    !!document.querySelector('.add-to-cart:not([disabled])'),
        rating:     getText('.stars-count'),
        scrapedAt:  new Date().toISOString()
      };
    });

    return productData;

  } finally {
    await browser.close();
  }
}

// سكرابينج قائمة منتجات مع تأخير بين كل طلب
async function scrapeAllProducts(urls) {
  const results = [];
  for (const url of urls) {
    const data = await scrapeProductPrice(url);
    results.push(data);
    // تأخير عشوائي 2-4 ثوانٍ لتجنب الحظر
    await new Promise(r => setTimeout(r, 2000 + Math.random() * 2000));
  }
  return results;
}

import asyncio
from playwright.async_api import async_playwright
import json
import time
import random

async def scrape_google_maps(search_query, max_results=20):
    businesses = []

    async with async_playwright() as p:
        browser = await p.chromium.launch(headless=True)
        page = await browser.new_page()

        # فتح Google Maps مع استعلام البحث
        maps_url = f"https://www.google.com/maps/search/{search_query.replace(' ', '+')}"
        await page.goto(maps_url)
        await page.wait_for_selector('[role="feed"]', timeout=15000)

        # التمرير لتحميل المزيد من النتائج
        feed = await page.query_selector('[role="feed"]')
        for _ in range(5):
            await feed.evaluate('el => el.scrollBy(0, 800)')
            await asyncio.sleep(random.uniform(1.5, 2.5))

        # استخراج جميع النتائج
        items = await page.query_selector_all('[role="feed"] > div > div > a')

        for item in items[:max_results]:
            try:
                await item.click()
                await asyncio.sleep(random.uniform(1, 2))

                # استخراج تفاصيل النشاط التجاري
                name = await page.query_selector('h1')
                phone = await page.query_selector('[data-item-id*="phone"] span')
                address = await page.query_selector('[data-item-id="address"] span')
                rating = await page.query_selector('span[aria-label*="stars"]')
                website = await page.query_selector('[data-item-id*="authority"] span')

                businesses.append({
                    'name':    await name.text_content() if name else '',
                    'phone':   await phone.text_content() if phone else '',
                    'address': await address.text_content() if address else '',
                    'rating':  await rating.get_attribute('aria-label') if rating else '',
                    'website': await website.text_content() if website else ''
                })
            except Exception as e:
                print(f"خطأ في استخراج نشاط تجاري: {e}")
                continue

        await browser.close()

    return businesses

# مثال: سكرابينج مطاعم في القاهرة
async def main():
    results = await scrape_google_maps("مطاعم وسط البلد القاهرة", max_results=30)

    with open('cairo_restaurants.json', 'w', encoding='utf-8') as f:
        json.dump(results, f, ensure_ascii=False, indent=2)

    print(f"تم استخراج {len(results)} نشاط تجاري")

asyncio.run(main())

import requests
from bs4 import BeautifulSoup
import json
import time
import random

def scrape_product_reviews(product_url, pages=5):
    all_reviews = []

    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36',
        'Accept-Language': 'ar,en-US;q=0.7,en;q=0.3',
        'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
    }

    for page_num in range(1, pages + 1):
        # تعديل URL لكل صفحة — يختلف حسب الموقع
        page_url = f"{product_url}?page={page_num}"

        response = requests.get(page_url, headers=headers, timeout=15)

        if response.status_code != 200:
            print(f"فشل في الصفحة {page_num}: {response.status_code}")
            break

        soup = BeautifulSoup(response.content, 'lxml')

        # CSS Selectors من كلود بعد تحليل HTML الموقع
        review_cards = soup.select('div.review-card')

        if not review_cards:
            break

        for card in review_cards:
            review = {
                'reviewer': card.select_one('.reviewer-name'),
                'rating':   card.select_one('.star-rating'),
                'date':     card.select_one('time'),
                'title':    card.select_one('.review-title'),
                'body':     card.select_one('.review-body'),
                'verified': bool(card.select_one('.verified-purchase'))
            }

            # تنظيف النص المستخرج
            clean = lambda el: el.get_text(strip=True) if el else ''
            all_reviews.append({k: clean(v) if k != 'verified' else v
                                    for k, v in review.items()})

        print(f"صفحة {page_num}: استُخرج {len(review_cards)} مراجعة")

        # تأخير مناسب بين الصفحات
        time.sleep(random.uniform(1.5, 3.5))

    return all_reviews

# استخدام وتحليل بكلود
reviews = scrape_product_reviews('https://example-store.com/product/laptop-x')

# احفظ وأرسل لكلود للتحليل
with open('reviews.json', 'w', encoding='utf-8') as f:
    json.dump(reviews, f, ensure_ascii=False, indent=2)

print(f"إجمالي المراجعات المستخرجة: {len(reviews)}")

const { chromium } = require('playwright');

// إعدادات متقدمة لتجنب الكشف
const BROWSER_ARGS = [
  '--no-sandbox',
  '--disable-blink-features=AutomationControlled',
  '--disable-features=IsolateOrigins',
  '--disable-infobars'
];

async function createStealthPage(browser) {
  const context = await browser.newContext({
    userAgent: 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36',
    viewport: { width: 1440, height: 900 },
    locale: 'ar-EG',
    timezoneId: 'Africa/Cairo',
    // إضافة headers حقيقية
    extraHTTPHeaders: {
      'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,*/*;q=0.8',
      'Accept-Language': 'ar,en-US;q=0.7,en;q=0.3',
      'Accept-Encoding': 'gzip, deflate, br',
      'DNT': '1'
    }
  });

  const page = await context.newPage();

  // إخفاء خاصية webdriver
  await page.addInitScript(() => {
    Object.defineProperty(navigator, 'webdriver', { get: () => undefined });
    window.chrome = { runtime: {} };
  });

  return page;
}

// Retry logic مع Exponential Backoff
async function scrapeWithRetry(url, maxRetries = 3) {
  const browser = await chromium.launch({ headless: true, args: BROWSER_ARGS });
  const page = await createStealthPage(browser);

  for (let attempt = 1; attempt <= maxRetries; attempt++) {
    try {
      await page.goto(url, { waitUntil: 'domcontentloaded', timeout: 30000 });

      // محاكاة سلوك بشري — حركة الماوس عشوائية
      await page.mouse.move(
        100 + Math.random() * 500,
        100 + Math.random() * 300
      );
      await page.waitForTimeout(500 + Math.random() * 1000);

      // استخراج البيانات هنا...
      const data = await page.content();
      await browser.close();
      return data;

    } catch (err) {
      console.warn(`محاولة ${attempt} فشلت: ${err.message}`);
      if (attempt === maxRetries) throw err;
      // انتظر أطول بعد كل فشل
      await new Promise(r => setTimeout(r, attempt * 3000));
    }
  }
}