?
我司與汽車職業學校合作hololens混合現實開發汽車發動機輔助檢修項目。
概述
該軟件旨在通過學校自身的師資力量和教學場地及現有教學裝備，構建現代職業教育體系，加快學校發展現代職業教育，培養適合本市經濟發展需要的技術技能人才。通過MR（混合現實）技術為發動機檢修專業提供一個虛擬仿真教學課程研究與開發、教學研究與實驗實踐的平臺。
目標
- 特色性：根據專業學習對口企業崗位的實際生產需要設計軟件，來進行MR教學。
- 實用性：通過虛實結合、強化訓練提高教學效率。
- 創新性：利用最新的MR技術手段，使學生耳目一新，積極主動的掌握知識點和技能。
- 數據性：利用軟件教學，方便采集教學數據，使教學結果有直觀的體現，為教學分析和研究打下基礎。
方案簡析
- 使用微軟的MR頭顯HoloLens，將軟件安裝其中后使用。
- MR教學場景，合并現實和虛擬世界而產生的新的可視化環境，產生的虛擬對象為全息圖像，例如三維模型，窗口、菜單等。
- 通過頭部凝視虛擬對象和手勢操作，來實現虛擬交互。例如點擊按鈕、拖動物體等。
- 識別現實世界物體，進行相應功能開發，例如對學生實際操作的智能評分系統。
- HoloLens直播，將在設備中看到和聽到的虛實結合的場景投放到大屏幕，供所有學生觀看，方便教學。
- 將HoloLens教學的操作數據和部分視頻通過服務器保存。
- 后臺管理系統，管理和查看師生和教學數據信息等。
- 遠程教學和指導，老師可在電腦上指導戴HoloLens的學生操作。
界面截圖：
- 遠程指導
教師利用虛擬仿真畫面、實時操作視頻進行實時、隨機、示范性動作
?
- 直播教學
以直播視頻形式實施教學展示
- 混合現實教學
學生可以進行自助式操作，形成虛擬仿真與現實操作高度融合
- 完美疊加的視頻教學畫面
實施方案
本方案為制作發動機氣門的檢修教學，以后制作發動機其它部分的檢修可相應地添加到本軟件中。
全息顯示示例
- UI：用于顯示菜單、按鈕、文本或圖片信息；用于用戶輸入信息。
- 三維模型和動畫：模型用于展示零件或工具外觀，動畫用于展示零部件拆裝和工作原理。
功能說明
- 學生需登錄后才可使用本軟件進行教學，登錄方式為在軟件初始界面輸入學號和密碼。
- 登錄成功后，選擇課次，課次由老師在后臺編輯，由老師告訴學生應選擇哪個課次，系統默認為最新課次。
- 進入教學后，學生的學號、姓名、課次和教學名稱始終顯示在視野固定位置，比如左上角。本方案中教學名稱只有“發動機氣門的檢修”。
- 選擇教學模式進行教學，教學模式分為學習模式、練習模式和評分模式。
學習模式：讓學生了解零部件、工具使用和拆裝過程。
練習模式：學生進行實物操作，有全息界面提示，學生可以隨時查看當前該如何操作。
評分模式：學生進行實物操作，軟件對學生操作進行一定程度的識別進行智能評分。
- 直播HoloLens教學
老師可以通過電腦登錄HoloLens管理平臺（一個局域網的ip），直播HoloLens中的內容，其他學生可以在與電腦連接的顯示設備上觀看頭戴HoloLens使用者的體驗全過程。老師對一個學生指導，其他學生全部可以受益，提高教學效率。除了評分模式和遠程指導的教學，都可以進行直播。
- 遠程指導教學
通過使用HoloLens上的skype軟件，可以讓老師在電腦上一對多遠程指導，在skype軟件上可以視頻、語音、甚至作圖指導。老師在電腦上作的圖，會在戴HoloLens的學生眼前轉化為全息圖像。
- 教學數據采集和保存
數據分為文本數據和視頻數據，兩者互為補充。
文本數據：記錄軟件操作日志。比如登錄情況、選擇的教學模式、教學模式使用情況等。
視頻數據：直播HoloLens和遠程指導的教學在電腦上可以看到視頻，用錄像軟件錄屏。評分模式如果需要錄制視頻，可以在HoloLens管理平臺錄制，但是每段錄像只能錄5分鐘，所以用文本數據記錄此教學過程。
文本數據，系統會自動記錄并提交給服務器保存。
視頻數據需要老師手動錄制，將錄制的視頻文件通過后臺管理界面上傳到服務器保存。
- 后臺管理系統
師生數據和教學數據的管理平臺。
教學模式內容
- 學習模式
零部件和專用工具通過靜態模型和UI展示，模型可以移動、旋轉和縮放。
拆裝過程通過三維動畫和UI展示。
以下是展示內容
1.零部件：
- 進排氣凸輪軸
- 氣門挺柱
- 進排氣門
2.專用工具：
1）
2）
3）
3.拆裝過程：
- 凸輪軸的拆卸
- 氣門挺柱的拆卸
- 氣門的拆卸
- 凸輪軸安裝
- 氣門挺柱的安裝
- 氣門的安裝
- 練習模式
全息界面提示操作流程，輔助學生實際操作。
練習前進行拆裝分步選擇，與學習模式的拆裝過程類似，分成6步。選擇后，全息界面提示當前拆裝的步驟提示。
例如進行“凸輪軸的拆卸”，界面上提示<拆下4個凸輪軸軸承蓋螺栓。注意: 用一把塑料錘輕輕敲打以松開軸承架。>，可以點擊上一步下一步按鈕查看提示，點擊下一步之后，提示<拆下第一凸輪軸軸承蓋>，點擊上一步，又回到之前的提示，以此類推。
另外還可隨時點擊動畫按鈕，查看動畫演示。
- 評分模式
老師在教學前，先在后臺管理系統設置這次教學的內容（具體設置見后臺管理系統介紹）。
學生進入評分模式后，系統會提示需要評分檢測的內容，是否檢測到內容會有標記提示。檢測內容分為步驟檢測和零件檢測。另外，有“維修記錄單”和“提交”按鈕。“維修記錄單”點擊后出現記錄單通過手勢點擊完成填寫；“提交”點擊后顯示此次教學的評分。
1.步驟檢測，系統會用實物識別檢測是否完成此步驟，識別順序按照步驟順序（以下圖片為檢測實物）。
1）進、排氣凸輪軸拆卸
2）全部氣門挺柱的拆卸
3）對指定的一個汽缸的兩組進、排氣門進行拆卸
4）對指定的一個汽缸的兩組進、排氣門進行組裝
5）全部氣門挺柱的組裝
6）進、排氣凸輪軸組裝
2.零件檢測，系統會用實物識別一些拆卸過程中的關鍵零件，以輔助評分。
- 進排氣凸輪軸
- 氣門挺柱
- 進排氣門
3.維修記錄單
- 主要內容按照下圖表格
- 填寫表格方式
合格/不合格：點擊選擇
處理部分：點擊選擇，選擇項有“正?！焙推渌笈_設置好的選項
數字部分：點擊填寫處，虛擬鍵盤填寫。
- 檢測答案方式
根據后臺設置好的正確答案核對。
4.提交
系統將此次評分數據（包括步驟檢測、零件檢測、維修記錄單）上傳到后臺保存，并顯示最終評分。
評分初步設定：
| 項目 | 小項 | 評分 |
| 步驟檢測 | 進、排氣凸輪軸拆卸 | 8 |
| 全部氣門挺柱的拆卸 | 3 | |
| 對指定的一個汽缸的兩組進、排氣門進行拆卸 | 14 | |
| 對指定的一個汽缸的兩組進、排氣門進行組裝 | 14 | |
| 全部氣門挺柱的組裝 | 3 | |
| 進、排氣凸輪軸組裝 | 8 | |
| 零件檢測 | 進排氣凸輪軸 | 4 |
| 氣門挺柱 | 3 | |
| 進排氣門 | 4 | |
| 維修記錄單 | 進排氣門外觀檢查 | 4 |
| 進排氣門長度測量 | 6 | |
| 進排氣門頭部直徑測量 | 6 | |
| 進排氣門錐面接觸面寬度測量 | 6 | |
| 汽缸蓋上進排氣門座接觸面寬度測量 | 6 | |
| 進排氣門對氣門座同心度檢查 | 5 | |
| 氣門與氣門座接觸面的位置檢查 | 6 | |
| 總計 | ? | 100 |
后臺管理系統
- 登錄身份
登錄身份分為管理員、老師、學生。
管理員：最高權限，可以查看和操作所有數據
老師：可以編輯和查看自己的數據以及查看所教學生的數據
學生：可以查看自己的數據
- 后臺內容
1.管理員
- 編輯和查看老師信息數據
賬號/工號
初始密碼固定123456
姓名
所教班級
- 編輯和查看學生信息數據
賬號/學號
初始密碼固定111111
姓名
班級
- 編輯和查看班級信息數據
班級編號
班級名稱
- 編輯和查看教學內容信息數據
教學編號
教學名稱
- 編輯和查看教學數據
可根據班級、教學名稱和教學老師篩選
課次：系統根據老師編輯課次內容自動生成
時間：上課的時間
班級
教學老師
學生操作記錄：登錄、選擇的教學模式、評分模式數據（包含各項評分和總分）、老師評語
教學視頻：老師上傳的此課次的視頻
2.老師
- 修改自己的密碼
- 新建或修改課次內容
時間：上課的時間
教學名稱
班級：使用此課次的班級
評分模式內容：選擇一個已經設置好的內容，供評分模式教學使用。
- 新建或修改評分模式內容
教學名稱
評分模式數據：以“發動機氣門的檢修”為例，需設置“維修記錄單”中各個數據的標準答案。
- 上傳教學視頻文件
選擇課次后上傳
- 查看教學數據
只可以查看自己的教學數據，數據內容同第1點管理員的第5小點。
可以給學生操作記錄添加或修改評語。
3.學生
1）修改自己的密碼
2）按照課次查看評分模式數據及老師評語
技術/項目方法
- 建模、三維動畫：3D Max
- UI設計：Photoshop、Flash等
- 前端程序：Unity3D
- 后臺程序：PHP+MySQL
- 錄屏工具：Apowersoft錄屏王或其它同類軟件
- 實物識別：Vuforia AR SDK