Kısaca: MySQL ve MariaDB'de utf8 adıyla bilinen karakter seti aslında karakter başına en fazla 3 bayt kullanan utf8mb3'tür ve emoji gibi 4 baytlık karakterleri saklayamaz. utf8mb4 ise UTF-8'in tamamını destekler. Yeni veritabanlarında utf8mb4 kullanmak, eskileri de planlı biçimde dönüştürmek Türkçe karakter ve emoji sorunlarının önüne geçer.
Bir form gönderiminde emojinin soru işaretine dönüşmesi, yorumların yarıda kesilmesi ya da "ş", "ğ", "ı" harflerinin "ÅŸ", "ÄŸ" gibi anlamsız karakterlere dönüşmesi hosting müşterilerinin sık karşılaştığı sorunlardır. Çoğu zaman sebep sunucu ya da yazılım hatası değil, veritabanında ve bağlantıda kullanılan karakter setidir. Bu yazıda utf8 ile utf8mb4 arasındaki farkı, harmanlama (collation) seçimini, mevcut durumunuzu nasıl kontrol edeceğinizi ve dönüştürme yaparken nelere dikkat etmeniz gerektiğini anlatıyoruz.
Karakter seti (character set), metnin veritabanında hangi baytlarla saklanacağını belirler. Harmanlama (collation) ise bu metinlerin nasıl karşılaştırılıp sıralanacağını tanımlar: büyük-küçük harf duyarlılığı, aksanlı harflerin eşit sayılıp sayılmaması ve alfabetik sıralama gibi. Her tablo ve sütunun bir karakter seti ve harmanlaması vardır; tanımlanmazsa veritabanının ya da sunucunun varsayılanı kullanılır.
UTF-8 standardı bir karakteri 1 ile 4 bayt arasında kodlar (RFC 3629). Latin harfleri 1 bayt, Türkçe ve çoğu Avrupa harfi 2 bayt, Çince ve Japonca karakterlerin çoğu 3 bayt yer kaplar. Emoji ve bazı özel semboller ise 4 bayt gerektirir.
MySQL ve MariaDB'deki eski utf8 karakter seti, karakter başına en fazla 3 bayt saklayacak şekilde tasarlanmıştır ve bugün utf8mb3 olarak adlandırılır. MariaDB belgesine göre utf8 varsayılan olarak utf8mb3'ün takma adıdır; utf8mb4 ise aynı kodlamayı kullanıp 4 baytlık karakterleri de saklar (MariaDB Unicode belgesi). Sonuç olarak:
utf8mb3 hem utf8mb4 ile sorunsuz saklanır.utf8mb4 ile saklanabilir. utf8mb3 sütununa yazılmaya çalışıldığında, sunucunun SQL moduna göre ya hata alınır ya da metin kesilir veya karakterler ? olarak kaydedilir.
| Özellik | utf8 (utf8mb3) | utf8mb4 |
|---|---|---|
| Karakter başına en fazla | 3 bayt | 4 bayt |
| Türkçe karakterler | Desteklenir | Desteklenir |
| Emoji ve 4 baytlık semboller | Desteklenmez | Desteklenir |
| Dizin uzunluğu (767 baytlık sınırda) | 255 karakter | 191 karakter |
| Yeni projeler için öneri | Kullanmayın | Varsayılan tercih |
utf8mb4_unicode_ci: Unicode sıralama kurallarına dayanır; çok dilli siteler için güvenli ve yaygın bir seçimdir.utf8mb4_general_ci: Daha basit kurallarla çalışır; bazı karakterlerde sıralama ve karşılaştırma daha az doğru olabilir.utf8mb4_turkish_ci: Türkçeye özgü kuralları uygular; örneğin "i/İ" ve "ı/I" harflerini Türkçe alfabeye göre eşleştirir ve sıralar. Yalnızca Türkçe içerik barındıran uygulamalarda düşünülebilir.utf8mb4_0900_ai_ci: MySQL 8.0 ile gelen harmanlamadır. MariaDB'nin bu adları tanımayan sürümlerine yapılan aktarımlarda "Unknown collation" hatasına yol açabilir.Son madde özellikle taşıma işlemlerinde önemlidir. MySQL 8 sunucudan alınan bir yedeği MariaDB çalışan bir hostinge yüklerken bu hatayı görürseniz yedek dosyasındaki harmanlama adını desteklenen bir harmanlamayla (ör. utf8mb4_unicode_ci) değiştirmek gerekir. İki veritabanı sunucusu arasındaki diğer farklar için MySQL ve MariaDB farkı yazımıza, site taşımanın tamamı için hosting değiştirme rehberine bakabilirsiniz.
phpMyAdmin'deki SQL sekmesinden ya da komut satırından sunucunun varsayılanlarını görmek için:
SHOW VARIABLES LIKE 'character_set%'; SHOW VARIABLES LIKE 'collation%';
Tabloların harmanlamasını listelemek için (veritabani_adi yerine kendi veritabanınızı yazın):
SELECT table_name, table_collation FROM information_schema.tables WHERE table_schema = 'veritabani_adi';
utf8_ ya da utf8mb3_ ile başlayan harmanlamalar eski karakter setini, latin1_ ile başlayanlar ise Türkçe karakter sorunlarına açık bir yapıyı gösterir. Veritabanına uzaktan bağlanarak bu sorguları çalıştırmak istiyorsanız uzak MySQL bağlantısı yazımız yol gösterir.
Tablolar doğru olsa bile uygulama veritabanına farklı bir karakter setiyle bağlanıyorsa veriler bozulabilir. "ÅŸ" gibi bozuk görünümlerin (mojibake) en yaygın nedeni budur: UTF-8 metin, bağlantıda başka bir karakter seti varsayılarak yeniden kodlanır. PHP uygulamalarında bağlantı karakter setini açıkça belirtin:
// PDO
$pdo = new PDO('mysql:host=localhost;dbname=veritabani_adi;charset=utf8mb4', $kullanici, $sifre);
// mysqli
$db->set_charset('utf8mb4');
WordPress'te bu ayar wp-config.php dosyasındaki DB_CHARSET sabitiyle yapılır; değer utf8mb4 olmalıdır.
Dönüştürme geri alınması zor bir işlemdir; mutlaka önce tam yedek alın. Yedekleme yaklaşımı için yedekleme stratejisi yazımıza göz atabilirsiniz. Ardından veritabanı varsayılanını ve tabloları dönüştürün:
ALTER DATABASE veritabani_adi CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; ALTER TABLE tablo_adi CONVERT TO CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
Dikkat edilecekler:
VARCHAR sütunlardaki dizinler sınırı aşabilir. WordPress de 4.2 sürümündeki utf8mb4 geçişinde bu nedenle bazı dizinleri 191 karaktere indirmiştir (WordPress geliştirici notu).CONVERT TO ile düzelmez; bunlar ayrıca ele alınmalıdır.Yeni bir veritabanı oluştururken utf8mb4 ve uygun bir harmanlama seçmek, ileride emoji ve karakter sorunlarıyla uğraşmamanın en kolay yoludur. Eski projelerde önce durumu kontrol edin, yedek alın ve dönüştürmeyi planlı yapın. Veritabanınızın karakter setini kontrol etme ya da dönüştürme konusunda yardıma ihtiyacınız olursa destek talebi oluşturarak ekibimize ulaşabilirsiniz.
Hayır, Türkçe harfler 2 bayt kapladığı için utf8mb3 ile de saklanır. Ancak kullanıcıların emoji girebileceği formlar, yorumlar ya da ürün açıklamaları varsa utf8mb4 gerekir; yeni projelerde zaten varsayılan tercih olmalıdır.
Saklanan metin aynı baytlarla kodlandığı için Türkçe ve Latin karakterlerde boyut değişmez. Yalnızca 4 baytlık karakterler (emoji gibi) 4 bayt yer kaplar.
Genellikle bağlantı karakter seti ile tablonun karakter seti uyuşmuyordur ya da veri bir taşıma sırasında yanlış karakter setiyle içe aktarılmıştır. Önce bağlantı ayarını ve yedek dosyasının karakter setini kontrol edin.
Yedek, MySQL 8.0'ın harmanlamasını kullanıyor ve hedef sunucu bu harmanlamayı tanımıyor demektir. Yedek dosyasındaki harmanlama adını hedef sunucunun desteklediği bir harmanlamayla değiştirip içe aktarmayı yeniden deneyin.