Club Builder - Foros de discusión Club Builder
Foro de C++Builder en español
 
 FAQFAQ   BuscarBuscar   MiembrosMiembros   Grupos de UsuariosGrupos de Usuarios   RegistrarseRegistrarse 
 PerfilPerfil   Entra para ver tus mensajes privadosEntra para ver tus mensajes privados   EntrarEntrar 

error al exportar datos

 
Publicar nuevo tema   Responder al tema    Foros de discusión -> Consultas
Ver tema anterior :: Ver tema siguiente  
Autor Mensaje
Mensaje    Asunto: error al exportar datos Responder citando

Hola a todos.

Tengo un archivo de texto plano (un log de un proxy), este archivo tiene aproximandamente entre 2 y 3 millones de lineas.

cada linea es de la siguiente forma

1052172401.687 395 158.42.144.27 TCP_MISS/302 580 GET http://g.msn.com/5meen_us/60? - DIRECT/65.54.195.189 -

Lo que tengo que hacer es descomponer cada fraccion de esa linea y pasarla a una base de datos.

La base de datos ya la tengo, pero cuando comienzo a exportar las lineas a la base de datos cuando llega a la linea 81881 el programa se cierra automaticamente

lo que hago es

...
fgets(cad,1024,in);

punt = strtok(cad, " ");
...

/*TAMAÑO_OBJ - Tamaño del objeto descargado*/
punt = strtok(NULL, " ");

Table1->FieldByName("Tamaño_obj")->AsInteger = StrToInt(AnsiString(punt));
Application->ProcessMessages();
/*****************************************************************************************************************/
/*IP_PETICION*/
punt = strtok(NULL, " ");

Table1->FieldByName("Ip_peticion")->AsString = AnsiString(punt);
Application->ProcessMessages();

...
...
...
al final de asignar todos los campos

...
Table1->Post()

cuando hago seguimiento paso a paso, al hacer el post 81881 sale el siguiente error

Project C:\...\read_file.exe faulted with message: 'access violation at 0x322c3732 read of address 0x322c3732'. Process Stopped. Use Step or run to continue.

Alguna idea de como solucionar este inconveniente?

Otro problema es que la tabla de la base de datos solo me soporto 327 mil registros, y segun escuché paradox soportaba 2 billones de registros.

Me pueden dar alguna recomendacion sobre donde o como almacenar estos datos.


Espero me puedan colaborar.

Por su colaboracion, Gracias


FELIZ NAVIDAD Y PROSPERO AÑO
_________________
"Cállate, o di algo mejor que el silencio"
Volver arriba
Ver perfil de usuario Enviar mensaje privado MSN Messenger
Mensaje    Asunto: Responder citando

¡Hola Spencer!

A la vista de la estructura de lasl líneas, yo investigaría las conversiones de datos. Me explico:
Cita:
1052172401.687 395 158.42.144.27 TCP...

Al hacer la conversión Table1->FieldByName("Tamaño_obj")->AsInteger = StrToInt(AnsiString(punt)); habrá casos en los que te encuentres que quieres meter un número de doble precisión en un entero. Yo cambiaría las definiciones de los campos de Integer a Float y su correspondientes conversiones de StrToInt a StrToFloat.

Se me ocurre que pueden ir por aquí los tiros.
_________________
Un saludo

Necesitamos tu ayuda: Envía AI al 27595 (Coste 1,20 euros + IVA)
Volver arriba
Ver perfil de usuario Enviar mensaje privado Enviar email
Mensaje    Asunto: Responder citando

Hola Angel, gracias por tu respuesta.

Los datos que leo ya los tengo definidos de acuerdo a cada tipo. Lo que no entiendo es por que solo me hace bien 81881 registros y luego no. Todos los datos que se leen hasta es el registro 81881 se hacen de manera exitosa.

Gracias
_________________
"Cállate, o di algo mejor que el silencio"
Volver arriba
Ver perfil de usuario Enviar mensaje privado MSN Messenger
Mensaje    Asunto: Responder citando

Hola Spencer.

No es la mejor solucion, pero puedes coger pedazos de datos de 81880 lineas. Es decir, ejecutas el programa y cargas las primeras 81000 lineas, luego, lo ejecutas nuevamente y cargas las segundas 81000 lineas y asi sucesivamente. Creo que con fseek te posicionas en el lugar que deseas del archivo.

Ahora si hablando en serio, ese error de violacion de acceso a memoria, significa que tu programa, a medida que va cargando cada linea, va consumiendo mas y mas memoria hasta que ya no queda mas, y al intentar usar un nuevo registro, se genera este error.

Revisa detenidamente tu codigo por si tienes alguna variable que no eliminas o tambien puedes considerar seriamente hacerlo por pedazos de 80000 lineas. Asi, tendrias que ejecutar tu programa unas 20 o 30 veces para cubrir los 3 millones de lineas.

Nos cuentas!
_________________
Dios es real... a menos que se declare entero!
Volver arriba
Ver perfil de usuario Enviar mensaje privado Enviar email
Mensaje    Asunto: Responder citando

Una cosa Spencer: ¿Cómo haces la lectura de los datos? Puede que el problema esté ahí.
_________________
Un saludo

Necesitamos tu ayuda: Envía AI al 27595 (Coste 1,20 euros + IVA)
Volver arriba
Ver perfil de usuario Enviar mensaje privado Enviar email
Mensaje    Asunto: Responder citando

Hola...

Angel escribió:
Una cosa Spencer: ¿Cómo haces la lectura de los datos? Puede que el problema esté ahí.


Mira, la lectura la hago de la siguiente manera:

el codigo se escribió:


FILE *in;

//no se define puntero con tamaño fijo ya que lo desconozco
char cad[512]="", *punt, *punt_pet, *punt_direct, *punt_applic, *endpunt;
double segund;
unsigned int i=0;

TDateTime Fecha;

AnsiString sql;

TRegistry *regist = new TRegistry;

try
{
regist->RootKey = HKEY_CURRENT_USER;

if (regist->OpenKey("\\Software\\Microsoft\\Windows\\MK", true))
regist->WriteString("path",Edit1->Text);

regist->CloseKey();
}
__finally
{
delete regist;
}

if((in = fopen(Edit1->Text.c_str() ,"r")) == NULL)
{
ShowMessage("Error al abrir el archivo");
BitBtn1->Enabled = true;
}
else
{

fseek(in,0, SEEK_SET);

while(i<80000) // en 81881 en programa aborta
{
fgets(cad,1024,in);

i++;

//un simple contador
Label1->Caption = i;
Application->ProcessMessages();
/*****************************************************************************************************************/
/*FECHA_HORA*/

// primera parte de la linea
punt = strtok(cad, " ");

segund = floor(strtod(cad,&endpunt));

Fecha = StrToDateTime("01/01/1970 00:00:00");
Application->ProcessMessages();

Fecha = IncSecond(Fecha, segund);

/*paso la fecha como parametro*/
IBQuery1->ParamByName("FECHA")->AsDateTime = Fecha;
Application->ProcessMessages();


/*paso la hora como parametro*/
IBQuery1->ParamByName("HORA")->AsDateTime = Fecha;
Application->ProcessMessages();

/*****************************************************************************************************************/
/*TAMAÑO_OBJ*/
punt = strtok(NULL, " ");

/*paso el tamaño del objeto descargado ...*/
IBQuery1->ParamByName("TAMANO_OBJ")->AsInteger =StrToInt(AnsiString(punt));
/*****************************************************************************************************************/
/*IP_PETICION*/
punt = strtok(NULL, " ");
IBQuery1->ParamByName("IP_PETICION")->AsString = AnsiString(punt);
Application->ProcessMessages();

/*****************************************************************************************************************/
/*Copiar cadena para el TIPO_PROTOCOLO*/

//aca queda la protocolo y el codigo devuelto. Ej: 200 OK
punt = strtok(NULL, " ");

punt_pet = strdup(punt);
/*****************************************************************************************************************/
/*TIEMPO_RESP*/
punt = strtok(NULL, " ");

IBQuery1->ParamByName("TIEMPO")->AsInteger = StrToInt(AnsiString(punt));
Application->ProcessMessages();
/*****************************************************************************************************************/
/*PETICION_ECHA*/
punt = strtok(NULL, " ");

IBQuery1->ParamByName("PETICION")->AsString = AnsiString(punt);

Application->ProcessMessages();
/*****************************************************************************************************************/
/*PAGINA*/
punt = strtok(NULL, " ");

IBQuery1->ParamByName("PAGINA")->AsString = AnsiString(punt);
Application->ProcessMessages();
/*****************************************************************************************************************/
/*UN SEPARADOR, SE DESCARTA*/
punt = strtok(NULL, " ");

/*****************************************************************************************************************/
// /*Copiar cadena para DIRECT - NONE e ip host*/ direct/ none
punt = strtok(NULL, " ");
punt_direct = strdup(punt);
/*****************************************************************************************************************/
// /*copiar cadena para el TIPO_APLICACION*/
punt = strtok(NULL, " ");
punt_applic = strdup(punt);
/*****************************************************************************************************************/
/*PROTOCOLO_USADO*/

punt_pet = strtok(punt_pet, "/");

IBQuery1->ParamByName("PROTOCOLO")->AsString = AnsiString(punt_pet);
Application->ProcessMessages();
/*****************************************************************************************************************/
/*CODIGO_DEVUELTO*/
punt_pet = strtok(NULL, "/");

IBQuery1->ParamByName("CODIGO_RETORN")->AsString = AnsiString(punt_pet);
Application->ProcessMessages();
/*****************************************************************************************************************/
/*DIRECT - NONE*/

punt_direct = strtok(punt_direct, "/");

IBQuery1->ParamByName("DIRECT")->AsString = AnsiString(punt_direct);
Application->ProcessMessages();
/****************************************************************************************************************/
/*IP_HOST*/
punt_direct = strtok(NULL, "/");

IBQuery1->ParamByName("IP_RESP")->AsString = AnsiString(punt_direct);
Application->ProcessMessages();
/****************************************************************************************************************/
/*OBJ_RESP_1*/
punt_applic = strtok(punt_applic, "/");

IBQuery1->ParamByName("OBJ_RESP1")->AsString = AnsiString(punt_applic);
Application->ProcessMessages();
/*****************************************************************************************************************/
/*OBJ_RESP_2*/
punt_applic = strtok(NULL, "/");

IBQuery1->ParamByName("OBJ_RESP2")->AsString = AnsiString(punt_applic);
Application->ProcessMessages();
/*****************************************************************************************************************/

IBQuery1->ExecSQL();

}
}
fclose(in);


No se que tan bien o mal este el codigo, o que inconvenientes tenga ciertas lineas, pero cuando el programa aborta y este pasa al debugger de builder las direcciones de memoria que se ven en hexadecimal ya no aparecen como tal, sino con caracteres ?? : ?? : ?? : ?? ?? : ?? : ?? : ?? ...

He pensado en dividirlo por trozos de 80000 pero pensaba que se podia recorrer todo el archivo de una sola vez.

alguien me puede con que funcion puedo obtener el numero de linea en la que voy del archivo (o como obtener el numero de lineas total del archivo), para luego volver a posicionarlo en una linea que yo quiera. Si lo hago con fseek a lo mejor me quede en un caracter intermedio de alguna linea.

GRACIAS A TODOS POR SU VALIOSA COLABORACION
_________________
"Cállate, o di algo mejor que el silencio"
Volver arriba
Ver perfil de usuario Enviar mensaje privado MSN Messenger
Mostrar mensajes de anteriores:   
Cambiar a:  
No puedes publicar temas nuevos en este foro
No puedes responder a temas en este foro
No puedes editar tus mensajes en este foro
No puedes borrar tus mensajes en este foro
No puedes votar en las encuestas de este foro


Hosting WordPress Indedmedia desde 3,99 €
© 2002–2026 Club Builder · Funciona con phpBB.