Estou trabalhando em um mmap-alocador que permite que vetores usem memória de um arquivo mapeado na memória. O objetivo é ter vetores que usem armazenamento diretamente na memória virtual mapeados pelo mmap. Nosso problema é melhorar a leitura de arquivos realmente grandes (> 10 GB) na memória sem sobrecarga de cópia; portanto, preciso desse alocador personalizado.
Até agora, tenho o esqueleto de um alocador personalizado (que deriva de std :: alocador), acho que é um bom ponto de partida para escrever alocadores próprios. Sinta-se livre para usar este trecho de código da maneira que desejar:
#include <memory>
#include <stdio.h>
namespace mmap_allocator_namespace
{
// See StackOverflow replies to this answer for important commentary about inheriting from std::allocator before replicating this code.
template <typename T>
class mmap_allocator: public std::allocator<T>
{
public:
typedef size_t size_type;
typedef T* pointer;
typedef const T* const_pointer;
template<typename _Tp1>
struct rebind
{
typedef mmap_allocator<_Tp1> other;
};
pointer allocate(size_type n, const void *hint=0)
{
fprintf(stderr, "Alloc %d bytes.\n", n*sizeof(T));
return std::allocator<T>::allocate(n, hint);
}
void deallocate(pointer p, size_type n)
{
fprintf(stderr, "Dealloc %d bytes (%p).\n", n*sizeof(T), p);
return std::allocator<T>::deallocate(p, n);
}
mmap_allocator() throw(): std::allocator<T>() { fprintf(stderr, "Hello allocator!\n"); }
mmap_allocator(const mmap_allocator &a) throw(): std::allocator<T>(a) { }
template <class U>
mmap_allocator(const mmap_allocator<U> &a) throw(): std::allocator<T>(a) { }
~mmap_allocator() throw() { }
};
}
Para usar isso, declare um contêiner STL da seguinte maneira:
using namespace std;
using namespace mmap_allocator_namespace;
vector<int, mmap_allocator<int> > int_vec(1024, 0, mmap_allocator<int>());
Pode ser usado, por exemplo, para registrar sempre que a memória é alocada. O que é necessário é a estrutura de religação, caso contrário, o contêiner de vetor usa os métodos de alocação / desalocação de superclasses.
Atualização: o alocador de mapeamento de memória agora está disponível em https://github.com/johannesthoma/mmap_allocator e é LGPL. Sinta-se livre para usá-lo em seus projetos.