Erro "valor incorreto da string" do MySQL ao salvar a string unicode no Django

Recebi uma mensagem de erro estranha ao tentar salvar first_name, last_name no modelo auth_user do Django.

Exemplos com falha

user = User.object.create_user(username, email, password)
user.first_name = u'Rytis'
user.last_name = u'Slatkevičius'
user.save()
>>> Incorrect string value: '\xC4\x8Dius' for column 'last_name' at row 104

user.first_name = u'Валерий'
user.last_name = u'Богданов'
user.save()
>>> Incorrect string value: '\xD0\x92\xD0\xB0\xD0\xBB...' for column 'first_name' at row 104

user.first_name = u'Krzysztof'
user.last_name = u'Szukiełojć'
user.save()
>>> Incorrect string value: '\xC5\x82oj\xC4\x87' for column 'last_name' at row 104

Exemplos de sucesso

user.first_name = u'Marcin'
user.last_name = u'Król'
user.save()
>>> SUCCEED

Configurações do MySQL

mysql> show variables like 'char%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       | 
| character_set_connection | utf8                       | 
| character_set_database   | utf8                       | 
| character_set_filesystem | binary                     | 
| character_set_results    | utf8                       | 
| character_set_server     | utf8                       | 
| character_set_system     | utf8                       | 
| character_sets_dir       | /usr/share/mysql/charsets/ | 
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

Conjunto de caracteres e agrupamento de tabelas

A tabela auth_user possui utf-8 charset com agrupamento utf8_general_ci.

Resultados do comando UPDATE

Não gerou nenhum erro ao atualizar os valores acima para a tabela auth_user usando o comando UPDATE.

mysql> update auth_user set last_name='Slatkevičiusa' where id=1;
Query OK, 1 row affected, 1 warning (0.00 sec)
Rows matched: 1  Changed: 1  Warnings: 0

mysql> select last_name from auth_user where id=100;
+---------------+
| last_name     |
+---------------+
| Slatkevi?iusa | 
+---------------+
1 row in set (0.00 sec)

PostgreSQL

Os valores com falha listados acima podem ser atualizados na tabela do PostgreSQL quando eu mudei o back-end do banco de dados no Django. É estranho.

mysql> SHOW CHARACTER SET;
+----------+-----------------------------+---------------------+--------+
| Charset  | Description                 | Default collation   | Maxlen |
+----------+-----------------------------+---------------------+--------+
...
| utf8     | UTF-8 Unicode               | utf8_general_ci     |      3 | 
...

Mas em http://www.postgresql.org/docs/8.1/interactive/multibyte.html , encontrei o seguinte:

Name Bytes/Char
UTF8 1-4

Isso significa que o unicode char possui no máximo 4 bytes no PostgreSQL, mas 3 bytes no MySQL, o que causou um erro acima?

Nenhuma dessas respostas resolveu o problema para mim. A causa raiz é:

Você não pode armazenar caracteres de 4 bytes no MySQL com o conjunto de caracteres utf-8.

O MySQL tem um limite de 3 bytes em caracteres utf-8 (sim, é maluco, bem resumido por um desenvolvedor do Django aqui )

Para resolver isso, você precisa:

1. Altere seu banco de dados MySQL, tabela e colunas para usar o conjunto de caracteres utf8mb4 (disponível somente no MySQL 5.5 em diante)
2. Especifique o conjunto de caracteres no seu arquivo de configurações do Django como abaixo:

settings.py

DATABASES = {
    'default': {
        'ENGINE':'django.db.backends.mysql',
        ...
        'OPTIONS': {'charset': 'utf8mb4'},
    }
}

Nota: Ao recriar seu banco de dados, você pode executar o problema 'A chave especificada era muito longa '.

A causa mais provável é uma CharFieldque tenha um comprimento máximo de 255 e algum tipo de índice (por exemplo, exclusivo). Como o utf8mb4 usa 33% mais espaço que o utf-8, você precisará tornar esses campos 33% menores.

Nesse caso, altere o max_length de 255 para 191.

Como alternativa, você pode editar sua configuração do MySQL para remover essa restrição, mas não sem algum hackery do django

ATUALIZAÇÃO: Acabei de encontrar esse problema novamente e acabei migrando para o PostgreSQL porque não consegui reduzir meus VARCHAR191 caracteres.

Eu tive o mesmo problema e resolvi-o alterando o conjunto de caracteres da coluna. Mesmo que seu banco de dados tenha um conjunto de caracteres padrão, utf-8acho que é possível que as colunas do banco de dados tenham um conjunto de caracteres diferente no MySQL. Aqui está o SQL QUERY que eu usei:

    ALTER TABLE database.table MODIFY COLUMN col VARCHAR(255)
    CHARACTER SET utf8 COLLATE utf8_general_ci NOT NULL;

Se você tiver esse problema, aqui está um script python para alterar todas as colunas do seu banco de dados mysql automaticamente.

#! /usr/bin/env python
import MySQLdb

host = "localhost"
passwd = "passwd"
user = "youruser"
dbname = "yourdbname"

db = MySQLdb.connect(host=host, user=user, passwd=passwd, db=dbname)
cursor = db.cursor()

cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
cursor.execute(sql)

results = cursor.fetchall()
for row in results:
  sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
  cursor.execute(sql)
db.close()

Se for um novo projeto, basta soltar o banco de dados e criar um novo com um conjunto de caracteres adequado:

CREATE DATABASE <dbname> CHARACTER SET utf8;

Eu apenas descobri um método para evitar os erros acima.

Salvar no banco de dados

user.first_name = u'Rytis'.encode('unicode_escape')
user.last_name = u'Slatkevičius'.encode('unicode_escape')
user.save()
>>> SUCCEED

print user.last_name
>>> Slatkevi\u010dius
print user.last_name.decode('unicode_escape')
>>> Slatkevičius

Esse é o único método para salvar seqüências de caracteres como essa em uma tabela MySQL e decodificá-la antes de renderizar em modelos para exibição?

Você pode alterar o agrupamento do seu campo de texto para UTF8_general_ci e o problema será resolvido.

Observe que isso não pode ser feito no Django.

Você não está tentando salvar seqüências de caracteres unicode, mas também está tentando salvar cadeias de caracteres na codificação UTF-8. Torne-os literais reais de cadeias unicode:

user.last_name = u'Slatkevičius'

ou (quando você não possui literais de string) decodifique-os usando a codificação utf-8:

user.last_name = lastname.decode('utf-8')

Simplesmente altere sua mesa, sem necessidade de nada. basta executar esta consulta no banco de dados. ALTER TABLE table_nameCONVERT TO CHARACTER SET utf8

definitivamente funcionará.

Melhoria na resposta @madprops - solution como um comando de gerenciamento do django:

import MySQLdb
from django.conf import settings

from django.core.management.base import BaseCommand


class Command(BaseCommand):

    def handle(self, *args, **options):
        host = settings.DATABASES['default']['HOST']
        password = settings.DATABASES['default']['PASSWORD']
        user = settings.DATABASES['default']['USER']
        dbname = settings.DATABASES['default']['NAME']

        db = MySQLdb.connect(host=host, user=user, passwd=password, db=dbname)
        cursor = db.cursor()

        cursor.execute("ALTER DATABASE `%s` CHARACTER SET 'utf8' COLLATE 'utf8_unicode_ci'" % dbname)

        sql = "SELECT DISTINCT(table_name) FROM information_schema.columns WHERE table_schema = '%s'" % dbname
        cursor.execute(sql)

        results = cursor.fetchall()
        for row in results:
            print(f'Changing table "{row[0]}"...')
            sql = "ALTER TABLE `%s` convert to character set DEFAULT COLLATE DEFAULT" % (row[0])
            cursor.execute(sql)
        db.close()

Espero que isso ajude alguém, exceto eu :)