הפעם בחרתי להביא שני סיפורים על דברים שנראים כמו באגים אבל בעצם הם …. 

מקרה I – זה לא באג זה ….

אחד הבאגים המעניינים שנתקלתי בהם החודש נגע בבעיה מוכרת: כיצד למנוע ארטיפקטים כתוצאה מנפילות פאקטים באפליקציות של וידאו מעל IP כמו סטרימינג או וידאו-קונפרנסינג. במקרה זה כמות הארטיפקטים היתה עצומה ולא נראתה קורלציה בין כמות הארטיפקטים לסוג הערוץ או יחס ה-FEC. בבדיקה פשוטה של הקלטת מוצא הדוחס, נמצא שהוידאו היוצא מהדוחס כבר מכיל את הארטיפקטים האלו (ראה בתמונה) עוד לפני מעבר בערוץ. האם זה באג בדוחס הוידאו? ע"י שימוש באנלייזר וידאו ( Vega H.264 Analyzer) היה ניתן לראות כי הוידאו חוקי לחלוטין ובכל זאת יוצר ארטיפקטים של tiering הדומים לאלו הנוצרים ע"י איבוד של פאקטים. עיון בתעוד של הקודק גילה כי כדי לעמוד במגבלות גודל מקסימלי של Slice Size הוכנס מוד מיוחד שברגע ש-Slice מגיע לגודל מקסימלי הוא פשוט מדלג על שארית ה-Slice ולא מקודד אותה. התמונה הנוצרת היא ערבוב של שתי פריימים: הפריים הנוכחי והפריים הקודם. תוצאה זו דומה לתוצאה של נפילת פאקט בו הוחזק חלק מהמידע של הפריים הנוכחי. במקרה זה, הוידאו היה חוקי לחלוטין ללא באגים, התנהגות הדוחס והוידאו שיצר היו חוקיים (אם כי בלתי ניתנים לשימוש) והתברר כי התנהגות זו הוכנסה בכוונה ע"פ בקשת החברה. מתברר שה"באג" הזה היה פיטצ'ר.

מקרה II – זה לא באג זה ….
מקרה מעניין אחר בו נתקלתי החודש היה קובץ MP4 בו האודיו הפסיק באמצע הקובץ בעת הזרמה משרת בעוד שניגון לוקלי לא הראה שום בעיה. תקלה כזו יכולה להצביע על בעיה ב – Hint tracks המכילים את אינפורמציית ההזרמה עבור השרת ואינם בשימוש בעת ניגון לוקלי. בדיקה של הקובץ באמצעות Jongbel AtomBox  ובאמצעות – MP4Box החינמי, העלו כי אכן יש בעיות חוקיות קשות ב-Hint tracks. מחקר קצר גילה כי יש נגנים בהם מתגלה בעיית האודיו גם בניגון לוקלי ולכן הבעיה שהתגלתה ב-hint track אינה קשורה לאודיו. מחקר מעמיק יותר גילה כי הבעיות נגרמו כתוצאה משינוי בסיס הזמן באמצע האודיו טרק מבסיס זמן של 90000 המתאים לוידאו לבסיס זמן של 48000, דבר זה הוא חוקי על פי הסטנדרט של ה- MP4 File Format ולכן כלי הבדיקה לא התריאו עליו בצורה אוטומטית כתקלה. גם ה-VLC  שהוא נגן עמיד ודי חסין תקלות הצליח לנגן את האודיו ללא בעיות, לעומת זאת בנגנים אחרים כן התבטאה הבעיה הזו. גם במקרה זה התברר שהבאג הוא לא באג אלא "פיטצ'ר חוקי אך לא בשימוש" של הסטנדרט, הפתרון היה לבקש מהחברה שמייצרת את הקבצים לתקן את התהליך כך שיופיע רק בסיס זמן אחד בקבצים המיוצרים.

מסקנות:

• לא כל מה שנראה כמו באג הוא באג
• לפעמים כלי הבדיקה לא עוזרים לנו וצריך לחפור.
• כדאי להשתמש במגוון כלים כדי להשיג כיסוי מלא לתקלות
• לא כל מה שמתנגן ב- VLC הוא אכן חוקי (במקרה זה דוקא כן).

רוצים ללמוד עוד על כלי אינטדרציה ובדיקות לוידאו?  בדקו את הקורס שלי Hands – on Video

לפעמים אנחנו (או לפחות אני) עסוקים כל כך בהבנת כל ביט והתפלספות על ניואנס בסטנדרט שאנו שוכחים את המהות והעקרונות שהובילו ליצירת הסטנדרט. כדי להיזכר שוב בעקרונות כמו:

• הגדרת מרחבי צבע והמרות בין מרחבי צבע
• דגימה, תדירות וזוית מרחבית,
• יתירות מרחבית, יתירות טמפורלית וכו

חשבתי לעשות תרגיל קטן בהגדרת סטנדרט לקידוד וידאו. לא H.265 – זה שמרני מדי (שוב מרחב RGB המומר ל – YUV, תעדוף ה – Y, המרה לבלוקים, המרת תדר) חשבתי לעשות סטנדרט קידוד וידאו ליצור בעל העין המורכבת ביותר שאני מכיר ותתפלאו – אלו לא בני האדם, לא נץ או נשר אלא סרטן המנטיס (שאיננו סרטן כלל). חשבתם פעם איך נראה מרחב הצבע שלו? ראיית העומק שלו? קצב התמונות? או מושגים שאנחנו לא מדמיינים בכלל כמו פאזה?

נתחיל במרחבי הצבע שלו – 13 סוגי תאי מדוכים (Cones)  לקליטת צבע המאפשרים טווח קליטת צבעים רחב בהרבה מהטווח האנושי, טווח המגיע עמוק לתוך תחומי האינפרא אדום טווח המגיע עמוק לתוך תחומי האינפרא אדום והאולטרה סגול יחד עם יכולת הבדלת צבעים טובה לאין שיעור מהיכולת האנושית. אם לנו יש מרחב צבעים תלת ממדי של אדום-כחול-ירוק, למנטיס יש מרחב שלוש-עשר ממדי.

ראיית עומק בכל עין בנפרד – כל עין של סרטן המנטיס מחולקת לשלושה חלקים נפרדים דבר המאפשר לו ראיית עומק בכל עין בנפרד. מסיבה זו כבר אין צורך לשמור על מרחק קבוע בין העיניים וכל עין נחה על גבעול היכול להתכוונן בנפרד ולספק ראיית עומק נפרדת ללא תלות בעין השניה

תאים לקליטת אור מקוטב (polarized light) – בצורה זו הסרטן יכול להימנע מסנוור בדיוק כמו עם משקפי שמש מקטבים, בנוסף לקיטוב הרגיל סרטן המנטיס יכול לראות גם אור בקיטוב מעגלי, זוהי החיה היחדה בעולם המסוגלת לעשות זאת. מניעת סינוור זה השימוש הבסיסי ביותר אבל היה מעניין לבדוק אם סרטן המנטיס לא רק קולט אור בקיטובים שונים אלא גם יכול לעבד את המידע הזה ליצירת תמונות בעלות עומק משתנה ללא צורך בשינוי זוית העדשה בדומה לפעולתה של מצלמת ה-lytro.

עוד בנושא במאמר הנפלא הזה ב- national geographic

ונחזור לדחיסת הוידאו. נתחיל במרחבי הצבע, האם באמת אנו צריכים ליצור מרחב צבע 13 ממדי או מספר מרחבים ספרביליים? לדעתי ניתן לראות שלסרטן מרחב צבע אחיד ותמיד יש חפיפות בין מספר רב של קולטנים. לגבי התעדוף בין צבעים שונים, בדומה למטריצות ה – Qp השונות שיש לרכיבי ההארה והגוון (Luma & Chroma), אשר יש להן חשיבות רבה לדחיסה גם כאן נצטרך לתת לתת לכל רכיב חשיבות משתנה על פי הרגישות והצפיפות של קולטני הצבע השונים.

מה לגבי קצב התמונות? המטבוליזם של סרטן המנטיס ויכולת התנועה המהירות של הזרועות שלו – תאוצה של 10000g ומהירות זרוע של מעל מהירות הקול מחייבות כנראה קצב פריימים של מאות תמונות לשנייה. אם תחשבו על זה, אסור להאיר יצורים כאלו בתאורת נאון, קצב ההיבהוב האיטי יחסית בטח משגע אותם (בניגוד אלינו הם יכולים כנראה לראות אותו)

אנו משתמשים בהמרה של בלוקים למרחב התדר (ללא פאזה) לשם דחיסה, האם ניתן לעשות זאת גם לסרטן המנטיס? האם הארטיפקטים של הדחיסה לא יעוותו לחלוטין את הוידאו עבורו?

מה לגבי הפאזה / קיטוב?  – אנו לא קולטים את קיטוב האור ולכן לא צריכים להעביר את הפאזה אך האם זה לא יבלבל את הסרטנים? האם זה יהיה דומה למעבר שלנו מצפיית תלת מימד לדו-מימד בטלוויזיה או שזה יצור תמונה מעוותת לחלוטין?

באיזה דחיסה משמרת פאזה וקיטוב מעגלי, ניתן להשתמש – אשמח לשמוע רעיונות. האם יש אפשרות לשימוש בדחיסה מבוססת פאזה בדומה לזו של ה – lytro cam ולהרחיב אותם מתמונה לסרט? מה העלות לכך ברוחב פס?

בכל מקרה, ללא קיטוב מעגלי המשמש את סרטני המנטיס לתקשורת מוצפנת אחת עם השני, תעשיית הפורנו הסרטנית לא תתפתח, לאור החשיבות של תעשיה זו להתפתחות הוידאו, הייתי ממליץ לכלול יכולות העברת פאזה וקיטוב מעגלי בסטנדרט למרות הצריכה הרבה של bandwidth  הנדרשת לכך.

השאלות הנשאלות פה הם לא שאלות תאורטיות בלבד, היישומים של העברת פאזה יכולים לשמש גם לסרטי תלת מימד והולגרמות לטלויזיות 3D ללא משקפיים ולמקרני משקפיים בדומה ל-Google Glasses.

אתם מוזמנים להגיב, להעיר, לשפר ולתקן. אם אכן המאמר יעורר עניין אכתוב מאמר המשך עם סקיצה ראשונית של דוחס וידאו לסרטני המנטיס.