- PR -

awstatsの過去データの取り込みが遅い

1
投稿者投稿内容
Jumpin'' Jack Flash
大ベテラン
会議室デビュー日: 2006/01/24
投稿数: 198
投稿日時: 2007-02-26 11:28
awstatsでアクセスログ解析をしようと思い、
まずは過去データを全てインポートしようとしています。
これが恐ろしく遅くて困っています。

過去データは、2004年6月1日〜昨日（日々増える）まで
1日1ファイルであります。
だいたい、1日10万レコードぐらいあります。

# awstats.pl -config=xxxx -update -logfile=/path to/access_log
といった感じで取り込んでいます。

2004年6月1日〜7日分は、だいたい1、2時間／1日分で取り込めました。
8〜15日分は、だいたい3〜6時間／1日分かかりました。
16日分は10時間、17日分は16時間、18日分はとうとう1日では
終わらなくなりました。

これでは、運用を開始するまでに何年もかかるどころか、
1日分を1日で処理完了できません。

私の使い方が間違っているため、処理が遅延しているのかもしれません
ので、何かお気づきの点がございましたら、ご指摘ください。

よろしくお願いいたします。


# ls -al /etc/awstats/
----
total 204
drwxr-xr-x 2 root root 4096 Feb 16 16:55 .
drwxr-xr-x 75 root root 4096 Feb 23 04:02 ..
lrwxrwxrwx 1 root root 28 Feb 15 17:39 awstats.conf -> awstats.xxxx.conf
-rw-r--r-- 1 root root 59599 Jan 15 17:29 awstats.localhost.localdomain.conf.bak
-rw-r--r-- 1 root root 59599 Jan 15 17:29 awstats.model.conf
-rw-r--r-- 1 root root 59781 Feb 16 15:21 awstats.xxxx.conf
----

# ls /var/lib/awstats/
----
awstats022007.bak awstats022007.tmp.28789 awstats022007.tmp.4876
awstats022007.tmp.22652 awstats022007.tmp.28810 awstats022007.tmp.4897
awstats022007.tmp.22669 awstats022007.tmp.28836 awstats022007.tmp.5438
awstats022007.tmp.22687 awstats022007.tmp.2936 awstats022007.tmp.5453
awstats022007.tmp.25316 awstats022007.tmp.29409 awstats022007.tmp.5468
awstats022007.tmp.25344 awstats022007.tmp.29429 awstats022007.tmp.8072
awstats022007.tmp.25364 awstats022007.tmp.29445 awstats022007.tmp.8094
awstats022007.tmp.25379 awstats022007.tmp.2964 awstats022007.tmp.8109
awstats022007.tmp.25382 awstats022007.tmp.2983 awstats022007.tmp.8135
awstats022007.tmp.25402 awstats022007.tmp.3004 awstats022007.tmp.8156
awstats022007.tmp.25405 awstats022007.tmp.3033 awstats022007.tmp.8698
awstats022007.tmp.25420 awstats022007.tmp.32072 awstats022007.tmp.8723
awstats022007.tmp.25446 awstats022007.tmp.32100 awstats022007.tmp.8738
awstats022007.tmp.25472 awstats022007.tmp.32119 awstats022007.txt
awstats022007.tmp.25928 awstats022007.tmp.32139 awstats052004.xxxx.txt
awstats022007.tmp.25945 awstats022007.tmp.32168 awstats062004.xxxx.bak
awstats022007.tmp.25964 awstats022007.tmp.32696 awstats062004.xxxx.tmp.25064
awstats022007.tmp.26010 awstats022007.tmp.32713 awstats062004.xxxx.tmp.25064.bis
awstats022007.tmp.26026 awstats022007.tmp.32736 awstats062004.xxxx.txt
awstats022007.tmp.26046 awstats022007.tmp.4813 dnscachelastupdate.txt
awstats022007.tmp.28712 awstats022007.tmp.4835 dnscachelastupdate.xxxx.txt
awstats022007.tmp.28768 awstats022007.tmp.4850
----

# cat /etc/awstats/awstats.xxxx.conf
----
LogFile="gzip -d < /var/log/httpd/xxxx/access_log.%YYYY-0%MM-0%DD-0.gz |"
LogType=W
LogFormat = "%host %other %logname %time1 %methodurl %code %bytesd %refererquot %uaquot"
LogSeparator=" "
SiteDomain="xxxx"
HostAliases="localhost 127.0.0.1"
DNSLookup=1
DirData="/var/lib/awstats"
DirCgi="/awstats"
DirIcons="/awstats/icon"
AllowToUpdateStatsFromBrowser=0
AllowFullYearView=2
EnableLockForUpdate=1
DNSStaticCacheFile="dnscache.txt"
DNSLastUpdateCacheFile="dnscachelastupdate.txt"
SkipDNSLookupFor=""
AllowAccessFromWebToAuthenticatedUsersOnly=0
AllowAccessFromWebToFollowingAuthenticatedUsers=""
AllowAccessFromWebToFollowingIPAddresses=""
CreateDirDataIfNotExists=0
BuildHistoryFormat=text
BuildReportFormat=html
SaveDatabaseFilesWithPermissionsForEveryone=0
PurgeLogFile=0
ArchiveLogRecords=0
KeepBackupOfHistoricFiles=1
DefaultFile="index.html"
SkipHosts="127.0.0.1
SkipUserAgents=""
SkipFiles=""
SkipReferrersBlackList=""
OnlyHosts=""
OnlyUserAgents=""
OnlyFiles=""
NotPageList="css js class gif jpg jpeg png bmp ico swf"
ValidHTTPCodes="200 304"
ValidSMTPCodes="1 250"
AuthenticatedUsersNotCaseSensitive=0
URLNotCaseSensitive=0
URLWithAnchor=0
URLQuerySeparators="?;"
URLWithQuery=0
URLWithQueryWithOnlyFollowingParameters=""
URLWithQueryWithoutFollowingParameters=""
URLReferrerWithQuery=0
WarningMessages=1
ErrorMessages=""
DebugMessages=1
NbOfLinesForCorruptedLog=50
WrapperScript=""
DecodeUA=0
MiscTrackerUrl="/js/awstats_misc_tracker.js"
LevelForBrowsersDetection=2
LevelForOSDetection=2
LevelForRefererAnalyze=2
LevelForRobotsDetection=2
LevelForSearchEnginesDetection=2
LevelForKeywordsDetection=2
LevelForFileTypesDetection=2
LevelForWormsDetection=0
UseFramesWhenCGI=1
DetailedReportsOnNewWindows=1
Expires=3600
MaxRowsInHTMLOutput=1000
Lang="auto"
DirLang="./lang"
ShowMenu=1
ShowSummary=UVPHB
ShowMonthStats=UVPHB
ShowDaysOfMonthStats=VPHB
ShowDaysOfWeekStats=PHB
ShowHoursStats=PHB
ShowDomainsStats=PHB
ShowHostsStats=PHBL
ShowAuthenticatedUsers=0
ShowRobotsStats=HBL
ShowWormsStats=0
ShowEMailSenders=0
ShowEMailReceivers=0
ShowSessionsStats=1
ShowPagesStats=PBEX
ShowFileTypesStats=HB
ShowFileSizesStats=0
ShowOSStats=1
ShowBrowsersStats=1
ShowScreenSizeStats=0
ShowOriginStats=PH
ShowKeyphrasesStats=1
ShowKeywordsStats=1
ShowMiscStats=a
ShowHTTPErrorsStats=1
ShowSMTPErrorsStats=0
ShowClusterStats=0
AddDataArrayMonthStats=1
AddDataArrayShowDaysOfMonthStats=1
AddDataArrayShowDaysOfWeekStats=1
AddDataArrayShowHoursStats=1
IncludeInternalLinksInOriginSection=0
MaxNbOfDomain = 10
MinHitDomain = 1
MaxNbOfHostsShown = 10
MinHitHost = 1
MaxNbOfLoginShown = 10
MinHitLogin = 1
MaxNbOfRobotShown = 10
MinHitRobot = 1
MaxNbOfPageShown = 10
MinHitFile = 1
MaxNbOfOsShown = 10
MinHitOs = 1
MaxNbOfBrowsersShown = 10
MinHitBrowser = 1
MaxNbOfScreenSizesShown = 5
MinHitScreenSize = 1
MaxNbOfWindowSizesShown = 5
MinHitWindowSize = 1
MaxNbOfRefererShown = 10
MinHitRefer = 1
MaxNbOfKeyphrasesShown = 10
MinHitKeyphrase = 1
MaxNbOfKeywordsShown = 10
MinHitKeyword = 1
MaxNbOfEMailsShown = 20
MinHitEMail = 1
FirstDayOfWeek=0
ShowFlagLinks=""
ShowLinksOnUrl=1
UseHTTPSLinkForUrl=""
MaxLengthOfShownURL=64
HTMLHeadSection=""
HTMLEndSection=""
Logo="awstats_logo6.png"
LogoLink="http://awstats.sourceforge.net"
BarWidth = 260
BarHeight = 90
StyleSheet=""
color_Background="FFFFFF"
color_TableBGTitle="CCCCDD"
color_TableTitle="000000"
color_TableBG="CCCCDD"
color_TableRowTitle="FFFFFF"
color_TableBGRowTitle="ECECEC"
color_TableBorder="ECECEC"
color_text="000000"
color_textpercent="606060"
color_titletext="000000"
color_weekend="EAEAEA"
color_link="0011BB"
color_hover="605040"
color_u="FFAA66"
color_v="F4F090"
color_p="4477DD"
color_h="66DDEE"
color_k="2EA495"
color_s="8888DD"
color_e="CEC2E8"
color_x="C1B2E2"
LoadPlugin="geoipfree"
ExtraTrackedRowsLimit=500
----
たお
ベテラン
会議室デビュー日: 2006/10/27
投稿数: 90
投稿日時: 2007-03-06 10:30
うーん、スペックがもっといいマシンで読み込ませて、
/var/lib/awstats以下をコピーするとか、
ログでいらない部分を削って小さくし
読み込みを早くするとかしか
ないんじゃないでしょうか。

2004年を諦めて、2006年からにするとか・・・
Jumpin'' Jack Flash
大ベテラン
会議室デビュー日: 2006/01/24
投稿数: 198
投稿日時: 2007-03-06 15:50
コメントありがとうございました。
すでにawstatsの運用を断念しております。
このようなページを見つけたためです。
http://www.bflets.dyndns.org/Tools/AWStatsDocs_JP/awstats_benchmark_jp.html

このページによると高速化の方法が書いてあるのですが、
できうる範囲でやってみましたが、結局1日分を24時間以内に
処理できないので、諦めました。

また、100万訪問者/月の規模のサイトには
「AWStatsは適切な選択ではありません」とも書いてあります。
ご丁寧にAnalogを勧められたので、Analogを使おうと思います。
っていうか、Analogからの乗り換えだったのですが。
1

スキルアップ／キャリアアップ（JOB@IT）