2011年4月14日 星期四

實作多人同時查詢資料頁面(by multi-threads)

本周針對"使用者10人、50人、100人,同時查詢資料所需之時間"做測試,

實作步驟:
1.定義thread方法並撰寫成javabean
2.撰寫一user_ask頁面同時宣告多個threads並start()

然而實作上屢屢出現錯誤如下


起初誤認為是jdo撰寫語法或thread撰寫格式出錯,後來嘗試以tomcat測試thread撰寫發現無誤(如下)

找尋網路上資料時發現,GAE為了保護應用程式,故僅支援單一thread操作,雖然在eclipse宣告尚無誤,但模擬上會出錯。

搜尋到的網路資料如下:


2011年4月5日 星期二

GAE 測試

對平台測試的部分如下: a. 分別測資料量是1000, 2000, 5000, 10000筆時 使用者查詢所須之時間. [資料量就寫一支程式來自動產生] b. 使用者10, 50, 100人, 同時查詢上數不同資料量時 所須之時間. [使用者人數也是寫一支程式來自動查詢, 可考量由多個client來起動某支jsp程式來同時執行, 而該jsp程式中則跑一個loop來重覆執行查詢, 也是在該 jsp程式中統計查詢所回覆的時間] 以下我們先針對 a. 的部分以單一使用者的角度做測試: 1.上傳至平台前先以eclipse模擬 *輸入999筆資料(資料庫預設需至少存在一筆資料): *查尋1000筆資料:
*刪除999筆資料:



2.接下來測試在GAE平台上的結果


*輸入1000筆資料:

*查尋1000筆資料:


*刪除1000筆資料:


*輸入9筆資料:

*查詢10筆資料:



*刪除9筆資料:

由上述可看出當資料量過大時,search、insert程式會報錯,

查詢網路上相關資料發現:
參照於:http://blog.wahahajk.com/2008/08/google-app-engine.html

接著看GAE管理介面呈現的錯誤訊息:



結論:由於可能受限於免費帳戶的資料庫容量限制,因此不適於大於500筆資料的測試。

2010年12月13日 星期一

文件撰寫&架構圖修正

本周進度:

1.實體模行&架構圖修正

平台實體模型:


平台完整架構圖
後續進度:
1.文件撰寫
2.bug修正及頁面整頓

2010年12月6日 星期一

平台架構(without推論部份)

本周進度:

平台架構(不包含推論部份):

1.Physical model

2.Structure


後續進度:
1.平台bug修正及頁面整頓
2.文件撰寫

2010年11月29日 星期一

文件撰寫&頁面整頓

本周進度:
1.文件撰寫
http://140.130.34.170/wikiproject/index.php/99Project-1-mid
2.平台頁面整頓

後續進度:
1.新增搜尋頁面
2.平台頁面整頓
3.製作多本不同類別電子書供推論用

2010年11月22日 星期一

推論腳本&平台架構

本周進度:

1.推論腳本:
一.使用者先從個人書目勾選欲參與推論的書籍。
二.使用者接著勾選interest。
三.根據使用者勾選的部分書籍及interest推論出相關class的公開權限書籍(如其他使用者上傳的書籍)。

實踐方式如下:

推論的流程主要分為3個step(上圖1~3):
step 1.將勾選後的個人書籍及所有公開書籍的opf傳給下個頁面產生fact檔 。
step 2.產生fact檔的頁面同時提供interest給使用者勾選,接著將這些interest傳給下個頁面並產生profile 。
step 3.最後連進到推論頁面,並根據fact檔及profile進行推論。


本周完成step1的部分,使用者可從其上傳的書籍清單勾選,接著按確認後,會將使用者勾選書籍的opf檔及所有公開權限的opf檔之路徑傳給下個頁面。 (如下)


接著下個頁面便可根據這些opf檔的內容撈取class並產生fact檔。
(輸出上個頁面所傳的opf檔路徑)
2.架構圖:



後續進度:
1.完成wiki+期末報告文件。
2.平台修正 。
3.新建多本電子書供推論用。

2010年11月15日 星期一

期中報告進度規劃

本周進度:

本周主要規劃兩周後期中報告前,需完成的事項。

1.將推論部分整合至平台

經討論過後決定將原本藉由使用者上傳電子書時同步更新推論用的fact檔部份,改成另新增一個推論選取頁面,列出使用者上傳的所有電子書,使用者可選取特定的電子書,推論引擎會根據這些電子書的class及使用者的profile作推論。
相較於原本的設計,這樣的構造一來能讓使用者更具彈性的選擇推論範圍,二來平台提供的功能更明朗化。


原本打算將建構fact檔的部分結合於此頁面(此頁面會同步將書籍檔案上傳)



2.文件撰寫

由於兩周後即將面臨期中報告,近起將以完成期中報告相關文件為主。


後續進度:
1.在app engine 中新增使用者勾選書籍頁面,供推論引擎用。
2.架構圖。
3.期中報告文件。

2010年11月1日 星期一

新增變更帳戶資料

本周進度:
1.修改會員資料:
使用者可對其註冊的會員資料作修改,如下:

1.點選右上角變更帳戶資料


2.輸入欲變更的資料,接著點選OK
3.完成帳戶資料變更



2.平台測試實作:
分成兩部份-

a.分別測資料量是1000, 2000, 5000, 10000筆時,使用者查詢所須之時間.[資料量寫一支程式來自動產生]

b. 使用者10, 50, 100人, 同時查詢上數不同資料量時所須之時間.[使用者人數也是寫一支程式來自動查詢,考量由多個client來起動某支jsp程式來同時執行,而該jsp程式中則跑一個loop來重覆執行查詢, 也是在該jsp程式中統計查詢所回覆的時間]


a.的部分近幾天可完成,但b的部份查詢使用者人數的部分,上網找了相關範例,皆是利用輸出文件檔來統計使用者人數(如:http://ruyi2008.blog.51cto.com/387450/81512/),然而app engine並不支援檔案的輸入輸出,這部份可能需找尋替代方法 ,此外模擬100個client同時對該jsp作存取的部份尚待解決。
後續進度:
1.平台測試
2.除錯及頁面整頓
3.平台功能擴增
4.期中報告文件

2010年10月25日 星期一

修正刪除書籍bug & 新增書籍權限

本周進度:
1.修正刪除書籍bug:
原先的刪除書籍頁面會將資料庫中的書籍資料欄位刪除,但刪除後並無順帶刪除書籍檔案,而書籍檔案的路徑跟書籍id相關,因此在刪除書籍後接著另新增書籍可能會造成檔案的cover,因此將刪除書籍的部分改用遮罩的方式呈現。
2.新增書籍權限:
使用者在上傳書籍時可選擇"Public"或"Private"選擇前者書籍可以分享給其他使用者,選擇後者上傳的書籍僅供個人閱讀。


點選"public"展現公開權限書籍


顯示公開書籍及上傳者資訊並可進行閱讀,點選"private"返回個人書籍頁面

後續進度:
1.新增更改帳戶資料頁面
2.除錯及頁面整頓
3.平台功能擴增
4.期中專題報告文件

2010年10月18日 星期一

新增刪除書籍頁面

本周進度:
新增刪除書籍頁面

1.點選"delete"按鈕



2.選取欲刪除的書籍


3.點選刪除後會自動刷新書目


原本期望能呈現在中間的書目頁面選取書籍後按"delete"紐能直接刪除書本並刷新,但中間的書目按下按鈕後會將值傳遞給檔案伺服器(FORM action="140.130.34.51:8080/99project_1/menu/menu.jsp")然而刪除檔案需要更動資料庫,因此只好以另彈跳出刪除視窗來實踐。
form預設通往檔案伺服器如下:
後續進度規劃:
1.使用者閱讀書籍權限
2.新增變更帳戶資料頁面
3.除錯及頁面整頓

2010年10月10日 星期日

app enginejsp -utf-8編碼測試

本周進度:
1.utf-8代碼測試:
查詢此代碼表後將代碼鍵入jsp檔案測試是否能成功上傳至app engine,首先測試的是html區塊,將代碼直接鍵入html標籤涵蓋的區域,如下:


結果可成功上傳至app engine,不過此部分即使不用代碼直接鍵入中字仍可上傳。




接下來是測試jsp區塊的部分,利用輸出字串的語法嘗試,如下:


結果上傳時出現錯誤,跟先前將中字鍵入jsp區塊的報錯訊息一樣。


故嘗試用代碼方式不可行。
上網搜尋相關解法,其中一篇文章提到:


參考網址http://dogbitesme.blogspot.com/2009/04/google-app-enginejava.html

2.查詢epub中opf檔可作為推論書籍用的欄位
如下:
檔案中的"subject"欄位,可作為推論用。
在資料庫中先前已針對opf檔路徑設欄位,程式解壓縮後會自動篩選出檔案路徑並丟入資料庫,可直接提取。

3.wiki文件撰寫:
http://140.130.34.170/wikiproject/index.php/99Project-1

後序進度規劃:
一.將書籍從平台中刪除功能實鍵

二.新增變更帳戶資料頁面
三.除錯及頁面整頓

2010年10月3日 星期日

平台中文亂碼克服

本周主要在克服平台中文呈現亂碼的,分成兩個部份:
1.電子書書名中文亂碼:
電子書的書名(中文)由app engine頁面使用form的方式傳遞 request至 file server頁面,
在file server頁面收到的書名(中文)卻是亂碼,但傳遞方與接收方都採用UTF-8編碼。
解決方法:
由於form傳遞的內容包含一般的"text""file"及"hidden",然而這兩者加密方式不同, (分別為:multipart/form-data及application/x-www-form-urlencoded) 提取request時會取不到值,因此利用javabean對request作提取,發現原本提取檔名的部分是設定為"big5"因此在頁面顯示上會呈現亂碼,修改後便解決此問題。


2.app engine頁面亂碼:
app engine的jsp頁面若包含中文便無法上傳,然而若將中文的部分含蓋在jsp檔中的html區塊便可進行上傳,但上傳後發現會呈現亂碼。在瀏覽器上變更編碼方式仍是以亂碼呈現。
(上傳至app engine的jsp似乎僅能採用UTF-8型式)
解決方法:
這部分嘗試多次仍無進展,試圖在jsp區塊內加入中文都會導致無法上傳,原本以為 html區塊的中文可能會因為預設的編碼方式與utf-8產生衝突中文才會呈現亂碼,但若添加 此行『meta http-equiv="Content-Type" content="text/html; charset=UTF-8"』至html 區塊又會導致無法上傳。
目前要在app engine的頁面上呈現中文,該頁面必須非jsp檔,抑或是 可將中文的部分存至app engine的資料庫,再利用jsp去讀取。
demo:








2010年9月27日 星期一

使用gmail帳戶登入平台

本周將『以gmail帳戶登入』功能整合進平台中,相關操作如下:


1.google 登入

2.登入成功

3.閱讀頁面


4.雖然另彈跳出示窗稍有不便,但使用google瀏覽器翻譯時
能避免掉原本以框架頁展現翻譯不到的情形。


接下來要實踐的部分:

1.相關使用者、電子書、資料異動功能及書籍權限功能的完整實踐。
2.克服 appengine頁面上的中文書名(utf-8)傳至file server上時會顯示亂碼問題。


由於2.的部分尚需要多嘗試才能解決因此主要先實踐1.部份。

PS:使用gmail帳戶登入平台中瀏覽器需把cookie打開,似乎google會利用cookie記錄帳戶登錄狀態。