 |
Club Builder Foro de C++Builder en español
|
| Ver tema anterior :: Ver tema siguiente |
| Autor |
Mensaje |
-Spencer- Capt

Registrado: 03 Mar 2003Mensajes: 160Ubicación: Armenia - Colombia
|
Publicado: Dom 24 Dic, 2006 9:19 pm Asunto: error al exportar datos |
|
|
Hola a todos.
Tengo un archivo de texto plano (un log de un proxy), este archivo tiene aproximandamente entre 2 y 3 millones de lineas.
cada linea es de la siguiente forma
1052172401.687 395 158.42.144.27 TCP_MISS/302 580 GET http://g.msn.com/5meen_us/60? - DIRECT/65.54.195.189 -
Lo que tengo que hacer es descomponer cada fraccion de esa linea y pasarla a una base de datos.
La base de datos ya la tengo, pero cuando comienzo a exportar las lineas a la base de datos cuando llega a la linea 81881 el programa se cierra automaticamente
lo que hago es
...
fgets(cad,1024,in);
punt = strtok(cad, " ");
...
/*TAMAÑO_OBJ - Tamaño del objeto descargado*/
punt = strtok(NULL, " ");
Table1->FieldByName("Tamaño_obj")->AsInteger = StrToInt(AnsiString(punt));
Application->ProcessMessages();
/*****************************************************************************************************************/
/*IP_PETICION*/
punt = strtok(NULL, " ");
Table1->FieldByName("Ip_peticion")->AsString = AnsiString(punt);
Application->ProcessMessages();
...
...
...
al final de asignar todos los campos
...
Table1->Post()
cuando hago seguimiento paso a paso, al hacer el post 81881 sale el siguiente error
Project C:\...\read_file.exe faulted with message: 'access violation at 0x322c3732 read of address 0x322c3732'. Process Stopped. Use Step or run to continue.
Alguna idea de como solucionar este inconveniente?
Otro problema es que la tabla de la base de datos solo me soporto 327 mil registros, y segun escuché paradox soportaba 2 billones de registros.
Me pueden dar alguna recomendacion sobre donde o como almacenar estos datos.
Espero me puedan colaborar.
Por su colaboracion, Gracias
FELIZ NAVIDAD Y PROSPERO AÑO _________________ "Cállate, o di algo mejor que el silencio" |
|
| Volver arriba |
|
 |
Angel Master


Registrado: 15 Abr 2003Mensajes: 2311Ubicación: Toledo (España)
|
Publicado: Mar 26 Dic, 2006 1:28 pm Asunto: |
|
|
¡Hola Spencer!
A la vista de la estructura de lasl líneas, yo investigaría las conversiones de datos. Me explico:
| Cita: | | 1052172401.687 395 158.42.144.27 TCP... |
Al hacer la conversión Table1->FieldByName("Tamaño_obj")->AsInteger = StrToInt(AnsiString(punt)); habrá casos en los que te encuentres que quieres meter un número de doble precisión en un entero. Yo cambiaría las definiciones de los campos de Integer a Float y su correspondientes conversiones de StrToInt a StrToFloat.
Se me ocurre que pueden ir por aquí los tiros. _________________ Un saludo
Necesitamos tu ayuda: Envía AI al 27595 (Coste 1,20 euros + IVA) |
|
| Volver arriba |
|
 |
-Spencer- Capt

Registrado: 03 Mar 2003Mensajes: 160Ubicación: Armenia - Colombia
|
Publicado: Mar 26 Dic, 2006 3:14 pm Asunto: |
|
|
Hola Angel, gracias por tu respuesta.
Los datos que leo ya los tengo definidos de acuerdo a cada tipo. Lo que no entiendo es por que solo me hace bien 81881 registros y luego no. Todos los datos que se leen hasta es el registro 81881 se hacen de manera exitosa.
Gracias _________________ "Cállate, o di algo mejor que el silencio" |
|
| Volver arriba |
|
 |
jacko Master


Registrado: 03 Sep 2005Mensajes: 287Ubicación: Colombia
|
Publicado: Vie 29 Dic, 2006 6:10 am Asunto: |
|
|
Hola Spencer.
No es la mejor solucion, pero puedes coger pedazos de datos de 81880 lineas. Es decir, ejecutas el programa y cargas las primeras 81000 lineas, luego, lo ejecutas nuevamente y cargas las segundas 81000 lineas y asi sucesivamente. Creo que con fseek te posicionas en el lugar que deseas del archivo.
Ahora si hablando en serio, ese error de violacion de acceso a memoria, significa que tu programa, a medida que va cargando cada linea, va consumiendo mas y mas memoria hasta que ya no queda mas, y al intentar usar un nuevo registro, se genera este error.
Revisa detenidamente tu codigo por si tienes alguna variable que no eliminas o tambien puedes considerar seriamente hacerlo por pedazos de 80000 lineas. Asi, tendrias que ejecutar tu programa unas 20 o 30 veces para cubrir los 3 millones de lineas.
Nos cuentas! _________________ Dios es real... a menos que se declare entero! |
|
| Volver arriba |
|
 |
Angel Master


Registrado: 15 Abr 2003Mensajes: 2311Ubicación: Toledo (España)
|
|
| Volver arriba |
|
 |
-Spencer- Capt

Registrado: 03 Mar 2003Mensajes: 160Ubicación: Armenia - Colombia
|
Publicado: Vie 29 Dic, 2006 4:18 pm Asunto: |
|
|
Hola...
| Angel escribió: | | Una cosa Spencer: ¿Cómo haces la lectura de los datos? Puede que el problema esté ahí. |
Mira, la lectura la hago de la siguiente manera:
| el codigo se escribió: |
FILE *in;
//no se define puntero con tamaño fijo ya que lo desconozco
char cad[512]="", *punt, *punt_pet, *punt_direct, *punt_applic, *endpunt;
double segund;
unsigned int i=0;
TDateTime Fecha;
AnsiString sql;
TRegistry *regist = new TRegistry;
try
{
regist->RootKey = HKEY_CURRENT_USER;
if (regist->OpenKey("\\Software\\Microsoft\\Windows\\MK", true))
regist->WriteString("path",Edit1->Text);
regist->CloseKey();
}
__finally
{
delete regist;
}
if((in = fopen(Edit1->Text.c_str() ,"r")) == NULL)
{
ShowMessage("Error al abrir el archivo");
BitBtn1->Enabled = true;
}
else
{
fseek(in,0, SEEK_SET);
while(i<80000) // en 81881 en programa aborta
{
fgets(cad,1024,in);
i++;
//un simple contador
Label1->Caption = i;
Application->ProcessMessages();
/*****************************************************************************************************************/
/*FECHA_HORA*/
// primera parte de la linea
punt = strtok(cad, " ");
segund = floor(strtod(cad,&endpunt));
Fecha = StrToDateTime("01/01/1970 00:00:00");
Application->ProcessMessages();
Fecha = IncSecond(Fecha, segund);
/*paso la fecha como parametro*/
IBQuery1->ParamByName("FECHA")->AsDateTime = Fecha;
Application->ProcessMessages();
/*paso la hora como parametro*/
IBQuery1->ParamByName("HORA")->AsDateTime = Fecha;
Application->ProcessMessages();
/*****************************************************************************************************************/
/*TAMAÑO_OBJ*/
punt = strtok(NULL, " ");
/*paso el tamaño del objeto descargado ...*/
IBQuery1->ParamByName("TAMANO_OBJ")->AsInteger =StrToInt(AnsiString(punt));
/*****************************************************************************************************************/
/*IP_PETICION*/
punt = strtok(NULL, " ");
IBQuery1->ParamByName("IP_PETICION")->AsString = AnsiString(punt);
Application->ProcessMessages();
/*****************************************************************************************************************/
/*Copiar cadena para el TIPO_PROTOCOLO*/
//aca queda la protocolo y el codigo devuelto. Ej: 200 OK
punt = strtok(NULL, " ");
punt_pet = strdup(punt);
/*****************************************************************************************************************/
/*TIEMPO_RESP*/
punt = strtok(NULL, " ");
IBQuery1->ParamByName("TIEMPO")->AsInteger = StrToInt(AnsiString(punt));
Application->ProcessMessages();
/*****************************************************************************************************************/
/*PETICION_ECHA*/
punt = strtok(NULL, " ");
IBQuery1->ParamByName("PETICION")->AsString = AnsiString(punt);
Application->ProcessMessages();
/*****************************************************************************************************************/
/*PAGINA*/
punt = strtok(NULL, " ");
IBQuery1->ParamByName("PAGINA")->AsString = AnsiString(punt);
Application->ProcessMessages();
/*****************************************************************************************************************/
/*UN SEPARADOR, SE DESCARTA*/
punt = strtok(NULL, " ");
/*****************************************************************************************************************/
// /*Copiar cadena para DIRECT - NONE e ip host*/ direct/ none
punt = strtok(NULL, " ");
punt_direct = strdup(punt);
/*****************************************************************************************************************/
// /*copiar cadena para el TIPO_APLICACION*/
punt = strtok(NULL, " ");
punt_applic = strdup(punt);
/*****************************************************************************************************************/
/*PROTOCOLO_USADO*/
punt_pet = strtok(punt_pet, "/");
IBQuery1->ParamByName("PROTOCOLO")->AsString = AnsiString(punt_pet);
Application->ProcessMessages();
/*****************************************************************************************************************/
/*CODIGO_DEVUELTO*/
punt_pet = strtok(NULL, "/");
IBQuery1->ParamByName("CODIGO_RETORN")->AsString = AnsiString(punt_pet);
Application->ProcessMessages();
/*****************************************************************************************************************/
/*DIRECT - NONE*/
punt_direct = strtok(punt_direct, "/");
IBQuery1->ParamByName("DIRECT")->AsString = AnsiString(punt_direct);
Application->ProcessMessages();
/****************************************************************************************************************/
/*IP_HOST*/
punt_direct = strtok(NULL, "/");
IBQuery1->ParamByName("IP_RESP")->AsString = AnsiString(punt_direct);
Application->ProcessMessages();
/****************************************************************************************************************/
/*OBJ_RESP_1*/
punt_applic = strtok(punt_applic, "/");
IBQuery1->ParamByName("OBJ_RESP1")->AsString = AnsiString(punt_applic);
Application->ProcessMessages();
/*****************************************************************************************************************/
/*OBJ_RESP_2*/
punt_applic = strtok(NULL, "/");
IBQuery1->ParamByName("OBJ_RESP2")->AsString = AnsiString(punt_applic);
Application->ProcessMessages();
/*****************************************************************************************************************/
IBQuery1->ExecSQL();
}
}
fclose(in);
|
No se que tan bien o mal este el codigo, o que inconvenientes tenga ciertas lineas, pero cuando el programa aborta y este pasa al debugger de builder las direcciones de memoria que se ven en hexadecimal ya no aparecen como tal, sino con caracteres ?? : ?? : ?? : ?? ?? : ?? : ?? : ?? ...
He pensado en dividirlo por trozos de 80000 pero pensaba que se podia recorrer todo el archivo de una sola vez.
alguien me puede con que funcion puedo obtener el numero de linea en la que voy del archivo (o como obtener el numero de lineas total del archivo), para luego volver a posicionarlo en una linea que yo quiera. Si lo hago con fseek a lo mejor me quede en un caracter intermedio de alguna linea.
GRACIAS A TODOS POR SU VALIOSA COLABORACION _________________ "Cállate, o di algo mejor que el silencio" |
|
| Volver arriba |
|
 |
|
|
No puedes publicar temas nuevos en este foro No puedes responder a temas en este foro No puedes editar tus mensajes en este foro No puedes borrar tus mensajes en este foro No puedes votar en las encuestas de este foro
|
© 2002–2026 Club Builder · Funciona con phpBB.
|