把IIS日志导入到数据库

1.建表

CREATE TABLE [dbo].[inetlog0828](
    [date] [date] NULL,
    [time] [time](7) NULL,
    [serverip] [nvarchar](50) NULL,
    [method] [nvarchar](50) NULL,
    [url] [nvarchar](4000) NULL,
    [query] [nvarchar](4000) NULL,
    [port] [int] NULL,
    [username] [nvarchar](50) NULL,
    [IP] [nvarchar](250) NULL,
    [UserAgent] [nvarchar](655) NULL,
    [scstatus] [int] NULL,
    [scsubstatus ] [int] NULL,
    [scwin32status] [int] NULL,
    [timetaken] [int] NULL
) ON [PRIMARY]

2.导入IIS日志

   BULK INSERT inetlog0828
   FROM 'F:\Desktop\u_ex15082814.log' 
   WITH (FIELDTERMINATOR =' ', ROWTERMINATOR ='\n',CODEPAGE ='RAW',FIRSTROW =5,DATAFILETYPE='widechar')

3.查询

select [IP] ,COUNT([IP]) b  from inetlog0828 group by [IP] order by b desc
select [IP] ,[url],count([IP]) b  from inetlog0828 group by [IP],[url] order by b desc
select [scstatus] ,COUNT(1) b  from inetlog0828 group by [scstatus] order by b desc

select LEFT([time],5),COUNT(1) cnt from [inetlog0828] GROUP by LEFT([time],5) order by cnt desc

4.合并date和time,并处理UTC时间

alter table [inetlog0828] add RequestTime datetime
go
update [inetlog0828] set RequestTime=DATEADD(hh,8,convert(DATETIME,convert(varchar(10),[date],120)+ ' '+ convert(varchar(8),[time],114),120))

5.bulk insert 命令详解

=============================================================   
BULK INSERT    
   [ database_name . [ schema_name ] . | schema_name . ] [ table_name | view_name ]    
      FROM 'data_file'    
     [ WITH    
        (    
   [ [ , ] BATCHSIZE = batch_size ]    --BATCHSIZE指令来设置在单个事务中可以插入到表中的记录的数量   
   [ [ , ] CHECK_CONSTRAINTS ]     --指定在大容量导入操作期间，必须检查所有对目标表或视图的约束。若没有 CHECK_CONSTRAINTS 选项，则所有 CHECK 和 FOREIGN KEY 约束都将被忽略，并且在此操作之后表的约束将标记为不可信。   
   [ [ , ] CODEPAGE = { 'ACP' | 'OEM' | 'RAW' | 'code_page' } ]  --指定该数据文件中数据的代码页   
   [ [ , ] DATAFILETYPE =    
      { 'char' | 'native'| 'widechar' | 'widenative' } ]  --指定 BULK INSERT 使用指定的数据文件类型值执行导入操作。   
   [ [ , ] FIELDTERMINATOR = 'field_terminator' ]  --标识分隔内容的符号   
   [ [ , ] FIRSTROW = first_row ]    --指定要加载的第一行的行号。默认值是指定数据文件中的第一行   
   [ [ , ] FIRE_TRIGGERS ]     --是否启动触发器   
   [ [ , ] FORMATFILE = 'format_file_path' ]    
   [ [ , ] KEEPIDENTITY ]   --指定导入数据文件中的标识值用于标识列   
   [ [ , ] KEEPNULLS ]    --指定在大容量导入操作期间空列应保留一个空值，而不插入用于列的任何默认值   
   [ [ , ] KILOBYTES_PER_BATCH = kilobytes_per_batch ]    
   [ [ , ] LASTROW = last_row ]   --指定要加载的最后一行的行号   
   [ [ , ] MAXERRORS = max_errors ]   --指定允许在数据中出现的最多语法错误数，超过该数量后将取消大容量导入操作。   
   [ [ , ] ORDER ( { column [ ASC | DESC ] } [ ,...n ] ) ]  --指定数据文件中的数据如何排序   
   [ [ , ] ROWS_PER_BATCH = rows_per_batch ]    
   [ [ , ] ROWTERMINATOR = 'row_terminator' ]   --标识分隔行的符号   
   [ [ , ] TABLOCK ]     --指定为大容量导入操作持续时间获取一个表级锁   
   [ [ , ] ERRORFILE = 'file_name' ]   --指定用于收集格式有误且不能转换为 OLE DB 行集的行的文件。   
        )]