Importando pedidos de um CSV para Magento programaticamente

Estamos mudando de um sistema antigo de ponto de venda desatualizado para o Magento 1.7 como nosso PDV exclusivamente. Não inesperadamente, um dos desafios que enfrentamos é como obter quase 20 anos de registros do sistema antigo para o Mage sem catástrofe.

Deixando de lado o desafio de migrar os registros dos clientes, o problema no qual estou focando nesta questão é como migrarei dados históricos de pedidos do antigo POS para o Mage. Não tenho 100% de certeza dos números exatos quando falamos de muitos registros de pedidos, mas diria pelo menos um milhão.

Aqui está o que estou pensando em termos de como abordar isso:

1. Descubra exatamente como os dados precisam ser formatados para que o Magento funcione bem com eles. Se podemos tirá-lo do antigo POS em um formato que funcione é questionável, mas vamos supor por um momento que isso corra bem ...
2. Crie um arquivo .CSV com dados históricos bem formatados
3. Encontre uma maneira de ler isso .CSV no $orderobjeto do Magento linha por linha -> save ()
4. Lucro!

Meu problema é que estou um pouco confuso sobre como abordar os pontos 2 e 3, vai entender. Eu posso formatar os dados que saem do POS antigo, da maneira que eu precisar, mesmo que seja muito complicado e envolva Perl, mas depois que eu tiver o arquivo .CSV (ou qualquer outro tipo de arquivo que realmente funcione nesse processo), não tenho certeza. como eu o alimentaria no objeto de pedido do Magento.

Eu pesquisei no Google e criei exemplos de pessoas que usam o objeto de pedido do Mage para importar pedidos de forma programática, mas há pouca discussão sobre como eles estão conectando fontes de dados que não sejam o carrinho de front-end ao objeto. Eu estudei uma versão do objeto order:

$id=1; // get Customer Id
$customer = Mage::getModel('customer/customer')->load($id);

$transaction = Mage::getModel('core/resource_transaction');
$storeId = $customer->getStoreId();
$reservedOrderId = Mage::getSingleton('eav/config')->getEntityType('order')->fetchNewIncrementId($storeId);

$order = Mage::getModel('sales/order')
  ->setIncrementId($reservedOrderId)
  ->setStoreId($storeId)
  ->setQuoteId(0)
  ->setGlobal_currency_code('USD')
  ->setBase_currency_code('USD')
  ->setStore_currency_code('USD')
  ->setOrder_currency_code('USD');

// set Customer data
$order->setCustomer_email($customer->getEmail())
  ->setCustomerFirstname($customer->getFirstname())
  ->setCustomerLastname($customer->getLastname())
  ->setCustomerGroupId($customer->getGroupId())
  ->setCustomer_is_guest(0)
  ->setCustomer($customer);

// set Billing Address
$billing = $customer->getDefaultBillingAddress();
$billingAddress = Mage::getModel('sales/order_address')
  ->setStoreId($storeId)
  ->setAddressType(Mage_Sales_Model_Quote_Address::TYPE_BILLING)
  ->setCustomerId($customer->getId())
  ->setCustomerAddressId($customer->getDefaultBilling())
  ->setCustomer_address_id($billing->getEntityId())
  ->setPrefix($billing->getPrefix())
  ->setFirstname($billing->getFirstname())
  ->setMiddlename($billing->getMiddlename())
  ->setLastname($billing->getLastname())
  ->setSuffix($billing->getSuffix())
  ->setCompany($billing->getCompany())
  ->setStreet($billing->getStreet())
  ->setCity($billing->getCity())
  ->setCountry_id($billing->getCountryId())
  ->setRegion($billing->getRegion())
  ->setRegion_id($billing->getRegionId())
  ->setPostcode($billing->getPostcode())
  ->setTelephone($billing->getTelephone())
  ->setFax($billing->getFax());
$order->setBillingAddress($billingAddress);

$shipping = $customer->getDefaultShippingAddress();
$shippingAddress = Mage::getModel('sales/order_address')
  ->setStoreId($storeId)
  ->setAddressType(Mage_Sales_Model_Quote_Address::TYPE_SHIPPING)
  ->setCustomerId($customer->getId())
  ->setCustomerAddressId($customer->getDefaultShipping())
  ->setCustomer_address_id($shipping->getEntityId())
  ->setPrefix($shipping->getPrefix())
  ->setFirstname($shipping->getFirstname())
  ->setMiddlename($shipping->getMiddlename())
  ->setLastname($shipping->getLastname())
  ->setSuffix($shipping->getSuffix())
  ->setCompany($shipping->getCompany())
  ->setStreet($shipping->getStreet())
  ->setCity($shipping->getCity())
  ->setCountry_id($shipping->getCountryId())
  ->setRegion($shipping->getRegion())
  ->setRegion_id($shipping->getRegionId())
  ->setPostcode($shipping->getPostcode())
  ->setTelephone($shipping->getTelephone())
->setFax($shipping->getFax());

$order->setShippingAddress($shippingAddress)
  ->setShipping_method('flatrate_flatrate')
  ->setShippingDescription($this->getCarrierName('flatrate'));

$orderPayment = Mage::getModel('sales/order_payment')
  ->setStoreId($storeId)
  ->setCustomerPaymentId(0)
  ->setMethod('purchaseorder')
  ->setPo_number(' - ');
$order->setPayment($orderPayment);

// let say, we have 2 products
$subTotal = 0;
  $products = array(
  '1001' => array(
  'qty' => 1
  ),
  '1002' ->array(
  'qty' => 3
  ),
);
foreach ($products as $productId=>$product) {
  $_product = Mage::getModel('catalog/product')->load($productId);
  $rowTotal = $_product->getPrice() * $product['qty'];
  $orderItem = Mage::getModel('sales/order_item')
    ->setStoreId($storeId)
    ->setQuoteItemId(0)
    ->setQuoteParentItemId(NULL)
    ->setProductId($productId)
    ->setProductType($_product->getTypeId())
    ->setQtyBackordered(NULL)
    ->setTotalQtyOrdered($product['rqty'])
    ->setQtyOrdered($product['qty'])
    ->setName($_product->getName())
    ->setSku($_product->getSku())
    ->setPrice($_product->getPrice())
    ->setBasePrice($_product->getPrice())
    ->setOriginalPrice($_product->getPrice())
    ->setRowTotal($rowTotal)
    ->setBaseRowTotal($rowTotal);

  $subTotal += $rowTotal;
  $order->addItem($orderItem);
}

$order->setSubtotal($subTotal)
  ->setBaseSubtotal($subTotal)
  ->setGrandTotal($subTotal)
  ->setBaseGrandTotal($subTotal);

$transaction->addObject($order);
$transaction->addCommitCallback(array($order, 'place'));
$transaction->addCommitCallback(array($order, 'save'));
$transaction->save();

Então, aqui estão minhas perguntas específicas:

1. Parece uma abordagem sensivelmente remota para esse problema? E, se não, como você acha que eu poderia abordar esse problema como menos idiota?
2. Se essa é uma abordagem sensorial, preciso de um .CSV diferente para cada modelo chamado pelo processo de pedido? ou seja, Mage :: getModel ('vendas / pedido'), Mage :: getModel ('sales / order_address'), etc?
3. Um .CSV é o caminho a percorrer?
4. Como eu alimentaria meus dados nesse objeto, se esses dados estão contidos em um .CSV ou o que você tem?
5. Como você limitaria as despesas gerais?

Mesmo se eu estiver pensando nisso de uma maneira totalmente idiota e você me disser isso, eu realmente aprecio qualquer contribuição.

Obrigado, obrigado, obrigado!

Surpreendeu nenhuma resposta com tantos votos / visualizações, então vou morder:

1. Isso dependeria do antigo sistema POS, massagearia os dados durante a importação.
2. Familiarize-se com Varien_Io, particularmente Varien_Io_File. Como você provavelmente estará lidando com uma coleção tão grande de dados, lembre-se de usar fluxos como StreamReadCsve StreamWriteCsv. Mais detalhes sobre um "fluxo" . Sem um fluxo ou leitura / gravação linear, você pode encontrar problemas de memória com outros métodos de carregamento / gravação.

Com o exposto acima, aqui está um exemplo: (fonte Atwix.com )

/**
 * Generates CSV file with product's list according to the collection in the $this->_list
 * @return array
 */
public function generateMlnList()
{
    if (!is_null($this->_list)) {
        $items = $this->_list->getItems();
        if (count($items) > 0) {

            $io = new Varien_Io_File();
            $path = Mage::getBaseDir('var') . DS . 'export' . DS;
            $name = md5(microtime());
            $file = $path . DS . $name . '.csv';
            $io->setAllowCreateFolders(true);
            $io->open(array('path' => $path));
            $io->streamOpen($file, 'w+');
            $io->streamLock(true);

            $io->streamWriteCsv($this->_getCsvHeaders($items));
            foreach ($items as $product) {
                $io->streamWriteCsv($product->getData());
            }

            return array(
                'type'  => 'filename',
                'value' => $file,
                'rm'    => true // can delete file after use
            );
        }
    }
}

Quanto à importação de pedidos, este exemplo ajudou mais: (Fonte: pastebin )

<?php

require_once 'app/Mage.php';

Mage::app();

$quote = Mage::getModel('sales/quote')
    ->setStoreId(Mage::app()->getStore('default')->getId());

if ('do customer orders') {
    // for customer orders:
    $customer = Mage::getModel('customer/customer')
        ->setWebsiteId(1)
        ->loadByEmail('customer@example.com');
    $quote->assignCustomer($customer);
} else {
    // for guesr orders only:
    $quote->setCustomerEmail('customer@example.com');
}

// add product(s)
$product = Mage::getModel('catalog/product')->load(8);
$buyInfo = array(
    'qty' => 1,
    // custom option id => value id
    // or
    // configurable attribute id => value id
);
$quote->addProduct($product, new Varien_Object($buyInfo));

$addressData = array(
    'firstname' => 'Test',
    'lastname' => 'Test',
    'street' => 'Sample Street 10',
    'city' => 'Somewhere',
    'postcode' => '123456',
    'telephone' => '123456',
    'country_id' => 'US',
    'region_id' => 12, // id from directory_country_region table
);

$billingAddress = $quote->getBillingAddress()->addData($addressData);
$shippingAddress = $quote->getShippingAddress()->addData($addressData);

$shippingAddress->setCollectShippingRates(true)->collectShippingRates()
        ->setShippingMethod('flatrate_flatrate')
        ->setPaymentMethod('checkmo');

$quote->getPayment()->importData(array('method' => 'checkmo'));

$quote->collectTotals()->save();

$service = Mage::getModel('sales/service_quote', $quote);
$service->submitAll();
$order = $service->getOrder();

printf("Created order %s\n", $order->getIncrementId());

Com o exemplo que você tem agora, os recursos serão pesados, pois há Mage::getModel(...chamadas em loops de foreach, o que é uma má prática e provavelmente esgotará o tempo limite ou a memória rapidamente. Especialmente se você tiver isso embrulhado em outro foreach / while.

Este...

foreach ($products as $productId=>$product) {
  $_product = Mage::getModel('catalog/product')->load($productId);

Deve parecer com:

$_product = Mage::getModel('catalog/product');
foreach ($products as $productId=>$product) {
  $_product->load($productId);

Eu não tentaria tentar relacionar todos os bits de dados CSV aos objetos Magento. Seria loucura e um pouco de exagero, continue com os pontos de entrada do modelo de recursos de $model->load(EntityId).

Observe também que, se você estiver tentando importar mais de 100k + pedidos, eu ficaria preocupado com o desempenho após as grandes importações, pois é necessário manter o MySQL ajustado para lidar com volumes tão grandes, além de mencionar se não estou enganado que os objetos de vendas ainda sejam baseados em EAV, e não apresenta um bom desempenho sob alto volume / tráfego. Existe uma razão pela qual o Magento Enterprise possui um módulo de arquivamento de pedidos de vendas para extrair dados antigos das tabelas "transacionais" de pedidos de vendas, para evitar dados inchados / obsoletos que não são necessários para receber pedidos.

Para resumir: eu traria à tona os requisitos e necessidades da empresa para armazenar dados tão grandes, se os seus relatórios puramente existirem melhores alternativas para isso do que o Magento.

Pensando no impacto que esses pedidos históricos teriam sobre o desempenho do magento / mysql, além do fato de que qualquer linha de produtos descontinuada também precisaria ser importada, vale a pena considerar armazenar os pedidos históricos junto com o cliente e os produtos em algo como um índice de pesquisa elástica e faça uma pesquisa sob demanda. ou seja, a página do histórico de pedidos do cliente.

Criar uma cotação e depois criar um pedido está demorando muito para obter grandes dados de importação de pedidos.

Então, eu pesquisei e encontrei a conclusão de grandes dados de importação de pedidos com a consulta mysql:

1. Eu inseri os dados em apenas tabelas de pedidos.

2. Atualize increment_idpara reconhecer o magento 1.x, esse último pedido increment_idé este

3. Esta consulta não está criando nenhuma cotação, fatura e remessa:

   Consultas SQL: -

   1. INSERT INTO `sales_flat_order` (state, status, shipping_description, store_id, customer_id, base_discount_invoiced, base_grand_total, base_shipping_amount, base_shipping_invoiced, base_subtotal, base_subtotal_invoiced, base_tax_amount, base_tax_invoiced, base_total_invoiced, base_total_invoiced_cost, base_total_paid, discount_invoiced, grand_total, shipping_amount, shipping_invoiced, subtotal, subtotal_invoiced, tax_amount, tax_invoiced, total_invoiced, total_paid, customer_group_id, increment_id, base_currency_code, global_currency_code, customer_email, customer_firstname, customer_lastname, customer_middlename, order_currency_code, shipping_method, store_currency_code, store_name, created_at, updated_at, total_item_count, hidden_tax_invoiced, base_hidden_tax_invoiced, is_valid) VALUES ("complete", "complete", "Flat Rate - Fixed", 1, 38322,0,225.7,0,0,214.95,214.95,10.75,10.75,225.7, 0,225.7, 0,225.7,0,0,214.95,214.95,10.75,10.75,225.7,225.7, 1,100026111,"CAD","CAD","abc@gmail.com","abc","abc","", "CAD", "flatrate_flatrate", "CAD", "Main Website\nMain Website Store\nOnline Catalog","2012-01-17 00:00:00","2012-01-17 00:00:00",5,0,0,0);

   2. INSERT INTO `sales_flat_order_grid` (entity_id, status, shipping_description, shipping_method, store_id, customer_id, customer_email, total_qty_ordered, base_grand_total, base_total_paid, grand_total, total_paid, increment_id, base_currency_code, order_currency_code, store_name, created_at, updated_at, payment_validated, billing_name, shipping_name) VALUES (5, "complete", "Flat Rate - Fixed", "flatrate_flatrate", 1, 38322,"abc@gmail.com",5,225.7,225.7,225.7,225.7,100026111,"CAD", "CAD", "Main Website\nMain Website Store\nOnline Catalog","2012-01-17 00:00:00","2012-01-17 00:00:00",1,"abc abc","abc abc");

   3. INSERT INTO `sales_flat_order_address` (parent_id, region_id, customer_id, email, region, postcode, lastname, street, city, telephone, country_id, firstname, address_type, middlename, nick_name) VALUES (5,68,38322,"alicjakeller@gmail.com","Manitoba","R3W 1G9","abc","1607 Concordia Ave E","Winnipeg","204 667-5540","CA","abc","billing","","")

   4. INSERT INTO `sales_flat_order_address` (parent_id, region_id, customer_id, email, region, postcode, lastname, street, city, telephone, country_id, firstname, address_type, middlename, nick_name) VALUES (5,68,38322,"alicjakeller@gmail.com","Manitoba","R3W 1G9","abc","1607 Concordia Ave E","Winnipeg","204 667-5540","CA","abc","shipping","","");

   5. INSERT INTO `sales_flat_order_item` (order_id, store_id, created_at, updated_at, product_id, product_type, sku, name, qty_ordered, price, base_price, original_price, base_original_price, row_total, base_row_total, price_incl_tax, base_price_incl_tax, row_total_incl_tax, base_row_total_incl_tax) VALUES (5,1,"2012-01-17 00:00:00","2012-01-17 00:00:00",4134,"simple","MET2240","ULTRA FLORA IB - 30 CAPS",4,44.99,44.99,44.99,44.99,179.96,179.96,44.99,44.99,179.96,179.96);

   6. INSERT INTO `sales_flat_order_item` (order_id, store_id, created_at, updated_at, product_id, product_type, sku, name, qty_ordered, price, base_price, original_price, base_original_price, row_total, base_row_total, price_incl_tax, base_price_incl_tax, row_total_incl_tax, base_row_total_incl_tax) VALUES (5,1,"2012-01-17 00:00:00","2012-01-17 00:00:00",3198,"simple","WS1600","THYROSENSE - 180 VCAPS + 60 VCAPS FREE",1,34.99,34.99,34.99,34.99,34.99,34.99,34.99,34.99,34.99,34.99);

   7. INSERT INTO `sales_flat_order_payment` (parent_id, base_shipping_amount, shipping_amount, base_amount_paid, amount_paid, base_amount_ordered, amount_ordered, method) VALUES (5,0,0,225.7,225.7,225.7,225.7, "cashondelivery");

   8. UPDATE `eav_entity_store` SET increment_last_id = 100026111 WHERE `entity_type_id` = 5 AND `store_id` = 1;