Llms.txt Dosyası Nedir? AI Crawler'ları ve LLM Ajanları İçin Web Sitesi Optimizasyonu

Yapay zeka modellerinin ve otonom web ajanlarının (AI Agents) internetten bilgi edinme biçimi, geleneksel arama motoru botlarının tarama mantığından kökten farklılaşmaktadır. Googlebot gibi geleneksel crawler'lar DOM ağacını ve CSS/JS dosyalarını render ederek sayfayı indekslerken; Perplexity, ChatGPT Search, Claude ve Cursor gibi LLM tabanlı sistemler doğrudan ham, gürültüsüz ve anlamsal açıdan zengin içeriğe ihtiyaç duyar. Bu ihtiyacın bir sonucu olarak ortaya çıkan llms.txt standardı, web sitelerinin yapay zeka sistemlerine doğrudan temiz Markdown verisi sunmasını sağlayan yeni bir bilgi mimarisi protokolüdür.

Daha önce AI çağında SEO rehberimizde arama motorlarının yapay zeka özetlerine geçişini incelemiştik. Bu yazıda ise sitenizi sadece arama motoru indekslerine değil, LLM çıkarım sistemlerine ve otonom ajanlara hazır hale getiren llms.txt dosyasının teknik anatomisini, robots.txt ile farklarını ve adım adım kurulum yöntemlerini ele alıyoruz.

Geleneksel Web Taramasından Ajan Tabanlı Web'e Geçiş

Bir web sayfasının HTML kaynak kodunu açtığınızda; navigasyon menüleri, footer linkleri, reklam scriptleri, SVG ikonları, CSS sınıfları ve takip pikselleri gibi devasa bir kod yığınıyla karşılaşırsınız. Tipik bir kurumsal web sayfasında 1.500 kelimelik bir makale yaklaşık 50 KB ile 200 KB arasında ham HTML kodu üretir.

Büyük Dil Modelleri (LLM) için bu durum ciddi bir verimsizlik yaratır:

• Token ve Bağlam Penceresi İsrafı: LLM'ler her sorguda sınırlı bir bağlam penceresi (context window) ve token bütçesi kullanır. Sayfadaki gereksiz HTML etiketleri doğrudan token tüketimine neden olur.
• Gürültülü İçerik (Noise): Header, cookie banner veya kenar çubuğu (sidebar) gibi ortak şablon bileşenleri, modelin birincil içeriğe odaklanmasını zorlaştırır.
• Yavaş Yanıt Süresi: Sayfanın taranıp HTML'den arındırılması (scraping & parsing) milisaniyeler düzeyinde ek işlem gecikmesi (latency) üretir.

llms.txt protokolü, web sitenizin kök dizinine yerleştirilen ve tüm kritik sayfaların doğrudan Markdown özetlerini ve bağlantılarını listeleyen bir fihrist görevi görerek bu problemi çözer.

Llms.txt Hakkında Ek Bilgi

• Answer.AI ve bağımsız AI geliştiricileri tarafından Eylül 2024'te önerilen açık bir topluluk standardıdır.
• Cursor, Perplexity, Anthropic ve açık kaynak LLM ajanları tarafından aktif olarak taranmaktadır.
• Arama motoru yasaklaması yapmaz; tamamen bilgi paylaşımını ve kaynak gösterilmeyi (citation) kolaylaştırır.
• Web sitenizin yourdomain.com/llms.txt adresinde barındırılması önerilir.

Llms.txt Dosyasının Anatomisi ve Sentaks Standartları

Bir llms.txt dosyası, standart Markdown sentaksına dayanır. Dosyanın amacı sitenizdeki yüzlerce önemsiz sayfayı sıralamak değil; projenin, şirketin veya ürünün en yetkin olduğu kaynakları seçilmiş bir rehber halinde sunmaktır.

Standart bir llms.txt dosyası şu dört ana katmandan oluşur:

1. H1 Başlığı: Projenin veya şirketin resmi adını belirtir.
2. Özet Blok (Blockquote): Sitenin ne yaptığını, hangi sektörde faaliyet gösterdiğini ve temel uzmanlığını anlatan 2-3 cümlelik net tanım.
3. Ana Bölümler (H2): Dokümantasyon, hizmetler, ürün özellikleri, fiyatlandırma politikası veya araştırma raporları gibi mantıksal gruplar.
4. Açıklamalı Bağlantı Listesi: Her bağlantının yanında AI modeline sayfa hakkında bağlam veren kısa bir açıklama cümlesi.

# Renkli Sayfa

> Renkli Sayfa, 2006 yılından bu yana Ankara merkezli olarak kurumsal web tasarım, özel web yazılım, teknik SEO ve web performans optimizasyonu hizmetleri sunan dijital tasarım ofisidir.

## Hizmetler ve Çözümler
- [/hizmetler/kurumsal-web-tasarim.md](https://www.renklisayfa.com/hizmetler/kurumsal-web-tasarim): Kurumsal şirketler için mobil uyumlu, performans ve dönüşüm odaklı web sitesi geliştirme süreçleri.
- [/hizmetler/web-yazilim.md](https://www.renklisayfa.com/hizmetler/web-yazilim): Next.js, Node.js ve SQL tabanlı ölçeklenebilir özel web yazılım ve portal çözümleri.
- [/hizmetler/arama-motoru-optimizasyonu-seo.md](https://www.renklisayfa.com/hizmetler/arama-motoru-optimizasyonu-seo): Teknik SEO denetimi, Core Web Vitals iyileştirmeleri ve semantik içerik stratejisi.

## Teknik Rehberler ve Araştırmalar
- [/blog/ai-caginda-seo-rehberi.md](https://www.renklisayfa.com/blog/ai-caginda-seo-rehberi): Yapay zeka arama motorları ve AI Overviews için içerik optimizasyonu prensipleri.
- [/fiyatlar.md](https://www.renklisayfa.com/fiyatlar): Web tasarım ve yazılım projeleri için kapsam belirleme ve fiyatlandırma dinamikleri.

llms.txt vs llms-full.txt: İki Dosya Arasındaki Fark

Spesifikasyon kapsamında iki farklı dosya tipi tanımlanmıştır:

• llms.txt (İçindekiler Tablosu): Sitenin en değerli sayfalarına yönlendiren hafif, hızlı taranabilir ve bağlantı odaklı özet belgedir. Ajanların hangi sayfayı okuması gerektiğine karar vermesini sağlar.
• llms-full.txt (Tam Kapsam Belgesi): Tüm kritik sayfaların metinlerini, API dokümantasyonunu veya teknik spesifikasyonları tek bir dosyada birleştiren kapsamlı Markdown derlemesidir. Geniş bağlam pencereli (128k+ token) modeller için tek bir HTTP isteğinde tüm site hafızasını sunar.

Adım Adım llms.txt Kurulumu ve Teknik Uygulama

Web sitenizin altyapısına bağlı olarak llms.txt kurulumunu statik veya dinamik yöntemlerle gerçekleştirebilirsiniz.

1. Yöntem: Statik Dosya Olarak Kök Dizine Ekleme

Eğer siteniz statik bir yapıdaysa veya WordPress gibi bir CMS kullanıyorsanız:

1. Metin düzenleyicinizde yukarıdaki formata uygun bir llms.txt dosyası oluşturun.
2. Dosyayı web sitenizin ana dizinine (public klasörüne) yükleyin.
3. Tarayıcınızdan https://siteniz.com/llms.txt adresine giderek dosyanın Content-Type: text/plain; charset=utf-8 başlığıyla açıldığını doğrulayın.

2. Yöntem: Next.js (App Router) ile Dinamik llms.txt Route Handler

Modern frontend mimarilerinde (Next.js, Remix, Astro) blog yazılarınız veya hizmet sayfalarınız veritabanından dinamik olarak çekiliyorsa, llms.txt dosyasını da anlık olarak derleyen bir API Route oluşturabilirsiniz. Özel yazılım projelerimizde uyguladığımız mimari örnek aşağıdadır:

// app/llms.txt/route.ts
import { NextResponse } from 'next/server';
import { prisma } from '@/lib/db';

export const revalidate = 86400; // 24 saatte bir yeniden doğrula (ISR)

export async function GET() {
  const services = await prisma.service.findMany({
    select: { title: true, href: true, seoDescription: true }
  });

  const posts = await prisma.post.findMany({
    where: { published: true },
    take: 20,
    orderBy: { createdAt: 'desc' },
    select: { title: true, slug: true, excerpt: true }
  });

  let markdown = `# Renkli Sayfa\n\n`;
  markdown += `> Kurumsal web tasarım, özel yazılım ve teknik SEO alanlarında uzmanlaşmış dijital ajans.\n\n`;
  
  markdown += `## Hizmetlerimiz\n`;
  services.forEach(s => {
    markdown += `- [${s.title}](https://www.renklisayfa.com${s.href}): ${s.seoDescription || ''}\n`;
  });

  markdown += `\n## Önemli İçerikler ve Rehberler\n`;
  posts.forEach(p => {
    markdown += `- [${p.title}](https://www.renklisayfa.com/blog/${p.slug}): ${p.excerpt || ''}\n`;
  });

  return new NextResponse(markdown, {
    status: 200,
    headers: {
      'Content-Type': 'text/plain; charset=utf-8',
      'Cache-Control': 'public, max-age=86400, stale-while-revalidate=43200'
    }
  });
}

Bu yaklaşım sayesinde, sitenize yeni bir hizmet sayfası veya teknik makale eklendiğinde AI ajanları her zaman en güncel veri haritasına ulaşır. Özel veritabanı ve backend entegrasyonu gerektiren kurumsal projeler için özel web yazılım hizmetimiz kapsamında bu mimariyi eksiksiz kurmaktayız.

LLM ve AI Ajan Optimizasyonunda (GEO) En İyi Uygulamalar

Bir llms.txt dosyası oluştururken maksimum verim almak için şu kurallara dikkat etmelisiniz:

• Her Şeyi Dahil Etmeyin: Gizlilik politikası, iletişim formu başarı sayfaları veya eski kampanya duyuruları gibi katma değeri olmayan URL'leri eklemeyin.
• Doğrulanabilir İfadeler Kullanın: "En iyi ajansız" gibi subjektif iddialar yerine; "2006'dan bu yana", "Next.js tabanlı", "B2B imalat ve sanayi odaklı" gibi AI modellerinin anlayabileceği net varlık (entity) sıfatları kullanın.
• Markdown Bağlantılarını Temiz Tutun: Mümkünse bağlantı verdiğiniz sayfaların Markdown çıktılarını (örneğin .md uzantılı temiz metin uç noktalarını) sunun.
• robots.txt Dosyası ile Çelişmeyin: llms.txt içinde listelediğiniz bir URL'yi robots.txt üzerinde Disallow olarak işaretlemediğinizden emin olun.

Son Sözler ve Gelecek Öngörüsü

Arama deneyimi klasik "10 mavi link" modelinden, kullanıcı sorularını doğrudan sentezleyen diyalog tabanlı yapay zeka sistemlerine evrilmektedir. Web sitenizin bu dönüşümde görünür kalabilmesi; yalnızca HTML ve CSS tasarımıyla değil, makinelerin ve yapay zeka ajanlarının sitenizi ne kadar zahmetsizce okuyabildiğiyle belirlenecektir.

llms.txt dosyasını erkenden yapılandırmak; markanızı Perplexity, ChatGPT ve Claude gibi yeni nesil keşif platformlarında rakiplerinizden önce referans gösterilen bir bilgi kaynağına dönüştürmenin en pratik teknik adımıdır. Kurumsal web sitenizin modern AI ve SEO standartlarına uygunluğunu denetlemek ve yeni nesil yazılım çözümleri geliştirmek için kurumsal web tasarım ve SEO danışmanlığı sayfalarımızdan bize ulaşabilirsiniz.