亚洲春色中文字幕久久久-三上亚,一吻二脱三床四吻胸,国产真实伦对白视频全集,在线毛片观看,精品成品入口黄网,国产毛aⅴ片久久久,亚洲AV色香蕉一区二区三区老师,萧皇后A级艳片,色情日本视频更新,99久久亚洲精品日本无码

標(biāo)題: 聆思CSK6大模型開(kāi)發(fā)板視覺(jué)識(shí)別類(lèi)開(kāi)源SDK介紹 [打印本頁(yè)]
作者: ListenAI    時(shí)間: 2024-6-17 16:17
標(biāo)題: 聆思CSK6大模型開(kāi)發(fā)板視覺(jué)識(shí)別類(lèi)開(kāi)源SDK介紹
大模型開(kāi)發(fā)板除了語(yǔ)音交互之外，還配套有大模型拍照識(shí)圖和坐姿檢測(cè)、人臉識(shí)別、活體識(shí)別、頭肩跟隨、手勢(shì)識(shí)別、物體分類(lèi)等七個(gè)線視覺(jué)識(shí)別方面的交互示例等。
聯(lián)網(wǎng)使用
大模型圖片分析+拍照
離線識(shí)別
坐姿檢測(cè)、人臉識(shí)別、活體識(shí)別、頭肩跟隨、手勢(shì)識(shí)別、物體分類(lèi)
SDK介紹1、 大模型語(yǔ)音交互+拍照識(shí)圖SDK
SDK功能
● 語(yǔ)音交互：支持按鍵錄音或喚醒后通過(guò)語(yǔ)音與大模型進(jìn)行對(duì)話
● 拍照識(shí)圖：支持通過(guò)攝像頭拍攝圖像并上傳給大模型進(jìn)行識(shí)別，支持依據(jù)識(shí)圖內(nèi)容進(jìn)行提問(wèn)
● 圖片生成：支持通過(guò)語(yǔ)音交互描述畫(huà)面內(nèi)容，令大模型生成圖片并顯示至套件屏幕上
拍照識(shí)圖
在待機(jī)頁(yè)，點(diǎn)擊拍照按鈕即可進(jìn)入取景頁(yè)面，對(duì)準(zhǔn)要拍照的物體，點(diǎn)擊右側(cè)中間的拍照鍵完成抓拍，確認(rèn)畫(huà)面抓拍正常后（無(wú)晃動(dòng)模糊的情況），點(diǎn)擊右側(cè)的 √ 進(jìn)行提交識(shí)別。
2、 坐姿檢測(cè)SDK
算法簡(jiǎn)介
CSK6 大模型開(kāi)發(fā)套件可檢測(cè)圖像中人物的坐姿情況，并對(duì)各種不良的坐姿進(jìn)行識(shí)別，當(dāng)畫(huà)面中有坐姿信息時(shí)，顯示屏上將實(shí)時(shí)對(duì)人物的關(guān)鍵骨骼點(diǎn)進(jìn)行標(biāo)注并顯示該人物的包含手、身體狀態(tài)在內(nèi)的坐姿檢測(cè)結(jié)果，結(jié)果包含一下內(nèi)容：
● 手狀態(tài)：正常/下垂/撐臉
● 身體狀態(tài)：正常/趴桌/傾斜/駝背/離席
CSK6 芯片支持運(yùn)行 坐姿檢測(cè) AI算法，具備以下特性：
● 硬件上僅需配合 30W 像素鏡頭模組，性價(jià)比出色
● 純離線運(yùn)行算法，無(wú)需聯(lián)網(wǎng)，保障隱私
● 檢測(cè)準(zhǔn)確率 ＞ 97%，響應(yīng)時(shí)間 ＜ 18ms
● 識(shí)別距離：推薦 40cm ~ 60cm, 建議不超過(guò) 110cm
3、 人臉識(shí)別SDK
人臉識(shí)別算法簡(jiǎn)介
人臉識(shí)別 算法具備以下特性：
● 支持檢測(cè)圖像中人臉信息，選取畫(huà)面中分值最高的人臉，返回人臉邊界框、人臉標(biāo)定點(diǎn)、頭部姿態(tài)角度、人臉識(shí)別特征等
● 人臉標(biāo)定點(diǎn)支持68個(gè)關(guān)鍵點(diǎn)檢測(cè)
● 頭部姿態(tài)角度支持pitch、roll、yaw三個(gè)角度
● 支持特征比較：將檢測(cè)到的人臉特征值和本地存儲(chǔ)的人臉特征值輸入算法進(jìn)行比對(duì)， 并返回比對(duì)結(jié)果
應(yīng)用場(chǎng)景
離線人臉識(shí)別適用于網(wǎng)絡(luò)條件不穩(wěn)定、無(wú)網(wǎng)、數(shù)據(jù)安全性要求高、人臉庫(kù)較小（20人以下）單臺(tái)設(shè)備的人臉識(shí)別場(chǎng)景。常見(jiàn)于人臉門(mén)禁、小型企業(yè)考勤機(jī)、自助終端設(shè)備等。
算法效果指標(biāo)數(shù)據(jù)
識(shí)別效果
在1m距離內(nèi)，測(cè)試特征底庫(kù)10個(gè)，人臉識(shí)別效果分別為：
識(shí)別能力
識(shí)別率
虛警率
人臉識(shí)別
95%
0.1%
人臉標(biāo)定
平均誤差(NME)約為0.04
頭部姿態(tài)
模型預(yù)測(cè)平均偏差約為±3°
全流程耗時(shí)
100ms以內(nèi)
使用介紹
人臉識(shí)別示例工程的使用
調(diào)用人臉識(shí)別算法，可以通過(guò)開(kāi)發(fā)板上的按鍵操作進(jìn)行人臉注冊(cè)、臉識(shí)別，并通過(guò)圖像預(yù)覽工具查看攝像頭的畫(huà)面與輸出結(jié)果。
固件功能說(shuō)明
程序運(yùn)行后，默認(rèn)會(huì)在屏幕上顯示實(shí)時(shí)的攝像頭畫(huà)面并在畫(huà)面中使用方框?qū)崟r(shí)標(biāo)注出人臉，并通過(guò)方框的顏色指示不同的識(shí)別狀態(tài)。
可以按照以下流程進(jìn)行人臉識(shí)別功能的使用：
● Step1：檢測(cè)到人臉 (屏幕顯示黃色框 / 開(kāi)發(fā)板LED亮黃色)
● Step2：按K1按鍵注冊(cè)當(dāng)前人臉特征 (屏幕 registered參數(shù)增加1 /開(kāi)發(fā)板LED閃爍藍(lán)色)
● Step3：按K2對(duì)當(dāng)前人臉進(jìn)行識(shí)別比對(duì)
○ 識(shí)別通過(guò)：屏幕顯示綠色框 / 開(kāi)發(fā)板LED亮綠色
○ 識(shí)別未通過(guò)：屏幕顯示紅色框 / 開(kāi)發(fā)板LED亮紅色
LED指示狀態(tài)
● 黃色：檢測(cè)到人臉
● 綠色：人臉特征比對(duì)通過(guò)
● 紅色：人臉特征比對(duì)未通過(guò)
按鍵功能
● K1：錄入當(dāng)前檢測(cè)到的人臉特征
● K2：將當(dāng)然的人臉特征與之前錄入的特征進(jìn)行比較
● K3：開(kāi)關(guān)攝像頭紅外補(bǔ)光燈(安裝紅外攝像頭時(shí))
4、 活體識(shí)別
功能說(shuō)明
需要搭配帶補(bǔ)光燈的紅外攝像頭，結(jié)合人臉識(shí)別算法，實(shí)現(xiàn)對(duì)活體的檢測(cè)。
程序運(yùn)行后，默認(rèn)會(huì)在屏幕上顯示實(shí)時(shí)的攝像頭畫(huà)面并在畫(huà)面中使用方框?qū)崟r(shí)標(biāo)注出人臉，并通過(guò)方框的顏色指示不同的識(shí)別狀態(tài)。
1.注冊(cè)人臉
當(dāng)LED為黃色時(shí)(檢測(cè)到人臉)，按動(dòng)K1按鍵，此時(shí)將會(huì)錄入當(dāng)前檢測(cè)到的人臉特征，錄入成功后，可看到屏幕上顯示的registered 數(shù)量增加1，說(shuō)明本次錄入已完成并加入人臉特征庫(kù)。
2.比對(duì)人臉
當(dāng)LED為黃色時(shí)(檢測(cè)到人臉)，按動(dòng)K2按鍵，此時(shí)固件會(huì)將當(dāng)前攝像頭前檢測(cè)到的人臉與已錄入的人臉特征進(jìn)行比對(duì)，若對(duì)比成功(命中已錄入的人臉特征)，屏幕中圈中人臉的框?qū)⒆優(yōu)榫G色，同時(shí)開(kāi)發(fā)板上的LED顏色將變?yōu)榫G色，表示人臉特征比對(duì)通過(guò)，并在屏幕上顯示匹配的人臉特征序號(hào)(id)與評(píng)分(score)。
若比對(duì)不通過(guò)，即當(dāng)前人臉未在人臉特征庫(kù)中錄入過(guò)，屏幕中圈中人臉的框?qū)⒆優(yōu)榧t色，同時(shí)開(kāi)發(fā)板上的LED顏色將變?yōu)榧t色，表示人臉特征比對(duì)通過(guò)。
3.串口日志的查看
本示例同樣支持串口日志的打印，可通過(guò)連接開(kāi)發(fā)板上的DAP_USB 并使用串口工具打開(kāi)對(duì)應(yīng)的串口設(shè)備進(jìn)行日志查看，默認(rèn)波特率 115200，伴隨著 人臉?shù)浫搿⑷四槺葘?duì)等操作，可看到日志串口有對(duì)應(yīng)的結(jié)果輸出。
5、頭肩跟隨+手勢(shì)識(shí)別SDK
頭肩跟隨頭肩算法介紹
檢測(cè)圖像中所有人體的頭肩位置，返回每個(gè)頭肩的唯一id、位置坐標(biāo)、檢測(cè)得分等；
● 通過(guò)攝像頭實(shí)時(shí)獲取圖像并在屏幕上進(jìn)行預(yù)覽顯示
● 在屏幕展示的畫(huà)面中標(biāo)注頭肩檢測(cè)和手勢(shì)識(shí)別的結(jié)果與評(píng)分
手勢(shì)識(shí)別
通過(guò)頭肩檢測(cè)識(shí)別用戶的手勢(shì)，返回當(dāng)前目標(biāo)的手勢(shì)、得分等；
支持5種手勢(shì)，分別為L(zhǎng)IKE(👍)、OK(👌)、STOP(🤚)、YES(✌️)、SIX(🤙)；
應(yīng)用場(chǎng)景
跟拍云臺(tái)
在直播、視頻通話場(chǎng)景，通過(guò)云臺(tái)實(shí)現(xiàn)人體追蹤，讓手機(jī)一直正面朝向用戶進(jìn)行錄像。并且可以通過(guò)手勢(shì)開(kāi)啟、停止追蹤。
算法參數(shù)
（1）識(shí)別效果
為了讓用戶在常用的交互距離取得比較好的識(shí)別效果，我們建議頭肩跟蹤跟手勢(shì)識(shí)別最短交互距離為0.5m，最佳交互距分別為3.5m/3m，所對(duì)應(yīng)的識(shí)別效果如下：
識(shí)別能力
最佳交互距離
識(shí)別率
虛警率
頭肩跟蹤
3.5m
95%
5%
手勢(shì)識(shí)別
3m
91%
5%
（2）幀率
以下是分別在單人和多人場(chǎng)景下的幀率：
場(chǎng)景
識(shí)別能力
幀率
單人
頭肩追蹤、手勢(shì)識(shí)別
15FPS
多人
頭肩追蹤、手勢(shì)識(shí)別
10FPS
6、物體分類(lèi)
算法簡(jiǎn)介
CSK6 大模型開(kāi)發(fā)套件可通過(guò)攝像頭抓拍畫(huà)面并對(duì)該畫(huà)面進(jìn)行物體分類(lèi)識(shí)別，支持包括蘋(píng)果、床、鍵盤(pán)等100+種物體的識(shí)別。通過(guò)觸摸屏可進(jìn)行取景與抓拍控制，完成拍照后將自動(dòng)識(shí)別并在屏幕上顯示識(shí)別結(jié)果。
本示例演示在開(kāi)發(fā)套件上運(yùn)行基于pytorch-cifar100（https://github.com/weiaicunzai/pytorch-cifar100）訓(xùn)練的resnet18物體分類(lèi)模型，支持通過(guò)攝像頭拍照并完成對(duì)指定物品的分類(lèi)識(shí)別。
本模型支持以下物體的分類(lèi)識(shí)別：

"apple",       "aquarium_fish", "baby",      "bear",       "beaver",       "bed",
"bee",         "beetle",        "bicycle",   "bottle",     "bowl",         "boy",
"bridge",      "bus",           "butterfly", "camel",      "can",          "castle",
"caterpillar", "cattle",        "chair",     "chimpanzee", "clock",        "cloud",
"cockroach",   "couch",         "crab",      "crocodile",  "cup",          "dinosaur",
"dolphin",     "elephant",      "flatfish",  "forest",     "fox",          "girl",
"hamster",     "house",         "kangaroo",  "keyboard",   "lamp",         "lawn_mower",
"leopard",     "lion",          "lizard",    "lobster",    "man",          "maple_tree",
"motorcycle",  "mountain",      "mouse",     "mushroom",   "oak_tree",     "orange",
"orchid",      "otter",         "palm_tree", "pear",       "pickup_truck", "pine_tree",
"plain",       "plate",         "poppy",     "porcupine",  "possum",       "rabbit",
"raccoon",     "ray",           "road",      "rocket",     "rose",         "sea",
"seal",        "shark",         "shrew",     "skunk",      "skyscraper",   "snail",
"snake",       "spider",        "squirrel",  "streetcar",  "sunflower",    "sweet_pepper",
"table",       "tank",          "telephone", "television", "tiger",        "tractor",
"train",       "trout",         "tulip",     "turtle",     "wardrobe",     "whale",
"willow_tree", "wolf",          "woman",     "worm"


本示例基于開(kāi)源項(xiàng)目進(jìn)行移植適配，僅用于 CV 能力的驗(yàn)證與評(píng)估，不代表適用于商用項(xiàng)目。


功能實(shí)現(xiàn)
● 點(diǎn)擊屏幕 翻轉(zhuǎn) 按鈕，可實(shí)現(xiàn)對(duì)攝像頭的影像預(yù)覽翻轉(zhuǎn)，可根據(jù)攝像頭是否安裝在開(kāi)發(fā)板背面進(jìn)行切換
● 點(diǎn)擊屏幕 TAKE 按鈕，可對(duì)當(dāng)面畫(huà)面進(jìn)行拍照并識(shí)別
SDK資源下載
大模型拍照識(shí)圖 ：https://cloud.listenai.com/CSKG9 ... e_open/apps/LLM_pic
其他功能SDK下載地址：https://cloud.listenai.com/CSKG962172/duomotai_ap/-/tree/master/
● 坐姿檢測(cè)： apps目錄下，工程目錄名稱(chēng)為 lcd_spd
● 人臉識(shí)別： apps目錄下，工程目錄名稱(chēng)為 fd
● 活體識(shí)別： apps目錄下，工程目錄名稱(chēng)為 fdh
● 頭肩跟隨+手勢(shì)識(shí)別： apps目錄下，工程目錄名稱(chēng)為 hsd
● 物體分類(lèi)： apps目錄下，工程目錄名稱(chēng)為 resnet18
已打包好的DEMO固件下載：
● 大模型拍照識(shí)圖固件：https://docs2.listenai.com/x/UzjbjIAxw
● 坐姿檢測(cè)： https://docs2.listenai.com/x/D3CV6m1w6
● 人臉識(shí)別： https://docs2.listenai.com/x/C176n3JaJ
● 活體識(shí)別： https://docs2.listenai.com/x/Pr51i42rn
● 頭肩跟隨+手勢(shì)識(shí)別：https://docs2.listenai.com/x/UGGyPHCTL
● 物體分類(lèi)： https://docs2.listenai.com/x/urrNYp4Ie
補(bǔ)充開(kāi)發(fā)板信息
開(kāi)發(fā)板具備豐富語(yǔ)音圖像功能與硬件外設(shè)的開(kāi)發(fā)板，采用有著豐富組件生態(tài)的 Zephyr RTOS 作為操作系統(tǒng)，默認(rèn)配套開(kāi)箱即玩的 AI 應(yīng)用，也可以配合聆思的模型訓(xùn)練推理工具 LNN 將自己的算法模型部署至芯片上，構(gòu)建自己的 AI 應(yīng)用，開(kāi)發(fā)板詳情參考：https://docs2.listenai.com/x/nTn9kMMCU








歡迎光臨 (http://www.denmoz.com/bbs/) Powered by Discuz! X3.1