ข้ามไปยังเนื้อหา

ความน่าเชื่อถือของการวิเคราะห์

พฤติกรรมเหล่านี้อธิบายการเปลี่ยนแปลง Go/CLI ที่ยังไม่ได้เผยแพร่หลังจากเวอร์ชัน 0.5.0

คำสั่งที่เกี่ยวข้องกับการประมวลผลแหล่งที่มาทั้งห้า (parse, fingerprint, graph show, graph analyze และ graph hotspots) ยอมรับ:

Flag ค่าเริ่มต้น ความหมาย
--include GLOB แหล่งที่มาที่รองรับทั้งหมด รวมเส้นทางแหล่งที่ตรงกับรูปแบบ; สามารถใช้ซ้ำเพื่อเลือกหลายรูปแบบได้
--exclude GLOB ไม่มี ไม่รวมเส้นทางหรือไดเรกทอรีที่ตรงกับรูปแบบ; สามารถใช้ซ้ำได้หลายรูปแบบ
--max-file-size BYTES 10485760 (10 MiB) ข้ามไฟล์แหล่งที่มีขนาดใหญ่กว่า; 0 ปิดการจำกัดนี้
--strict false ล้มเหลวก่อนแสดงผลลัพธ์หากเกิดการวินิจฉัยจากการสแกนหรือการแยกวิเคราะห์

รูปแบบใช้ glob แบบ gitignore ที่คั่นด้วยเครื่องหมายทับ (slash) เทียบกับไดเรกทอรีอินพุตที่เลือก สำหรับอินพุตไฟล์เดียว รูปแบบจะตรงกับชื่อฐานของไฟล์นั้น ใส่เครื่องหมายคำพูดให้รูปแบบเพื่อไม่ให้เชลล์ขยายรูปแบบ รูปแบบการรวมจะรวมกันเป็นยูเนียน รูปแบบการยกเว้นมีความสำคัญมากกว่า รูปแบบการรวมไม่ได้ลบล้าง .gitignore, การกรองทดสอบ หรือการยกเว้นในตัว รูปแบบการปฏิเสธ (!pattern) ไม่ได้รับการยอมรับในแฟล็กเหล่านี้ ให้ใช้การควบคุมการรวมและการยกเว้นแยกกัน

Terminal window
codeknit parse ./src --include '**/*.go' --exclude '**/generated/' --strict
codeknit fingerprint ./src --max-file-size 2097152 --include '**/*.ts'
codeknit parse ./src/app.go --output-mode inline --format json

การสแกนไดเรกทอรีจะให้ความสำคัญกับไฟล์ .gitignore ที่อยู่ในไดเรกทอรีหลักและไดเรกทอรีย่อยเทียบกับตำแหน่งโปรเจ็กต์ โดยไม่ขึ้นกับไดเรกทอรีการทำงานของกระบวนการ ไดเรกทอรี .git ที่ใกล้ที่สุดหรือตัวทำเครื่องหมาย worktree จะกำหนดขอบเขตของที่เก็บข้อมูล นอกที่เก็บข้อมูล ไฟล์ ignore ที่อยู่ในไดเรกทอรีหลักยังคงมีผล ไดเรกทอรีย่อยที่เลือกภายใต้ไดเรกทอรีที่ถูก ignore จะยังคงถูก ignore การเลือกไฟล์แหล่งที่มาปกติโดยตรงจะข้ามการ ignore และการกรองทดสอบ แต่ยังคงใช้การรวม/ยกเว้นและขีดจำกัดขนาด

การเชื่อมโยงสัญลักษณ์ของแหล่งที่มา (source symlinks) การเชื่อมโยงสัญลักษณ์ของไดเรกทอรี และแหล่งที่มาแบบไม่ปกติจะถูกข้ามและรายงาน การอ่านจะถูกจำกัดอยู่ในรากการสแกน และขีดจำกัดขนาดจะถูกบังคับใช้อีกครั้งขณะอ่าน ดังนั้นไฟล์ที่ขยายขนาดหลังจากถูกค้นพบจะไม่สามารถข้ามขีดจำกัดได้ การยกเว้นไดเรกทอรีในตัวรวมถึง .git, .hg, .svn, node_modules, แคช Python และสภาพแวดล้อมเสมือน Python ทั่วไป ไฟล์ทดสอบยังคงถูกยกเว้นเว้นแต่จะตั้งค่า --collect-test

ไดเรกทอรี/ไฟล์ที่ไม่สามารถอ่านได้ การอ่านไฟล์ ignore ล้มเหลว การข้าม symlinks แหล่งที่มาที่มีขนาดใหญ่เกินไป และคำเตือนเกี่ยวกับไวยากรณ์ทำให้การวิเคราะห์ไม่สมบูรณ์ โดยค่าเริ่มต้น ผลลัพธ์บางส่วนที่ใช้งานได้จะถูกเก็บรักษาและการวินิจฉัยจะปรากฏบน stderr JSON การแยกวิเคราะห์รวมบันทึกเส้นทาง/เหตุผลใน errors; SKT รวม [errors] แบบอินไลน์หรือใน warnings.skt คำสั่งกราฟ/การสร้าง fingerprint ยังรายงานการวินิจฉัยบน stderr ไฟล์ที่ถูก ignore หรือกรองโดยเจตนาจะไม่ถือเป็นคำเตือน --strict ปฏิเสธผลลัพธ์ที่ไม่สมบูรณ์ก่อนการเผยแพร่เอาต์พุต อินพุตที่ไม่มีแหล่งที่มาที่รองรับที่ถูกเลือก หรือการรันที่ทุกการอ่านแหล่งที่มาล้มเหลว จะออกจากระบบโดยไม่สำเร็จเสมอ

TUI ใช้นโยบาย symlink เดียวกันและค่าเริ่มต้น 10 MiB ฟอร์มของ TUI ยังไม่เปิดเผยแฟล็กการเลือกและ strict ใหม่

เอาต์พุตแบบ tree จะต่อท้าย .skt เข้ากับชื่อแหล่งที่มาทั้งหมด: src/foo.c จะกลายเป็น src/foo.c.skt ในขณะที่ src/foo.h จะกลายเป็น src/foo.h.skt เอาต์พุตแบบแยกใช้ src/foo.c_part1.skt, src/foo.c_part2.skt และต่อไปเรื่อยๆ ไฟล์พจนานุกรมและการวินิจฉัยจะเก็บชื่อที่สงวนไว้ dict.skt และ warnings.skt เส้นทางเอาต์พุตที่ขัดแย้งกัน รวมถึงการชนกันของตัวอักษรพิมพ์เล็ก-ใหญ่ จะล้มเหลวอย่างชัดเจน

SKT แบบ tree ต้องการ --max-lines อย่างน้อย 3 แต่ละชิ้นส่วนสัญลักษณ์จะทำซ้ำส่วนหัว [symbols] และ ## source-path ชิ้นส่วนที่มีเฉพาะ edge จะมี [edges] ชิ้นส่วนแหล่งที่มาทุกชิ้นจะเคารพขีดจำกัด ไฟล์พจนานุกรมและไฟล์การวินิจฉัยเป็นเอาต์พุตเสริมแยกต่างหาก SKT แบบ flat เก็บบล็อกแหล่งที่มาทั้งหมด ดังนั้นขีดจำกัดบรรทัดจึงเป็นเป้าหมายการแยกมากกว่าขอบเขตที่เข้มงวดสำหรับบล็อกแหล่งที่มาขนาดใหญ่ JSON เป็นเอกสารเดียวและไม่ถูกแยกตามจำนวนบรรทัด

การสร้างไดเรกทอรีเสร็จสมบูรณ์ในไดเรกทอรี staging ที่อยู่ติดกัน หากไม่มี --clean เอาต์พุตที่สร้างขึ้นแล้วสำหรับรูปแบบที่เลือกจะทำให้เกิดข้อผิดพลาด หากมี --clean ไฟล์ .skt ที่ล้าสมัย (โหมด SKT) หรือ codeknit.json (โหมด JSON) จะถูกแทนที่หลังจากการสร้างสำเร็จ รายการที่ไม่เกี่ยวข้องจะถูกเก็บรักษา การชนกันกับรายการหนึ่งจะทำให้เกิดข้อผิดพลาด อย่าใช้ไดเรกทอรีแหล่งที่มา หรือไดเรกทอรีหลักของมัน เป็นไดเรกทอรีเอาต์พุต

การเผยแพร่จะถือล็อกเฉพาะไดเรกทอรี สำรองเอาต์พุตก่อนหน้า และกู้คืนหากการแทนที่ล้มเหลว หากกระบวนการสิ้นสุดลงระหว่างการเปลี่ยนชื่อไดเรกทอรี การเรียกใช้ครั้งถัดไปจะกู้คืนการสำรองก่อนสร้างสิ่งใดๆ ไฟล์ .NAME.codeknit.lock ที่อยู่ติดกันจะยังคงอยู่โดยเจตนาเพื่อประสานงานกับผู้เผยแพร่ในอนาคต อย่าลบล็อกที่ใช้งานอยู่หรือการสำรองการกู้คืน มีช่วงเวลาสั้นๆ ระหว่างการเปลี่ยนชื่อไดเรกทอรีทั้งสอง ดังนั้นผู้อ่านที่ต้องการการเข้าถึงอย่างต่อเนื่องควรประสานงานกับการสร้าง สิ่งนี้ให้การกู้คืนจากความล้มเหลวของกระบวนการ แต่ไม่รับประกันการป้องกันความล้มเหลวของที่จัดเก็บหรือการสูญเสียพลังงาน

รายงานแต่ละรายการจะถูกเขียนและซิงค์ไปยังไฟล์ชั่วคราวที่อยู่ติดกันก่อนแทนที่ปลายทาง ไฟล์ที่มีอยู่จะไม่ถูกตัดทอนระหว่างการสร้าง เอาต์พุต stdout แบบอินไลน์ไม่สามารถย้อนกลับได้หากผู้บริโภคล้มเหลว

การจับคู่แบบตรงหมายถึงสตรีมโทเค็นที่ถูกทำให้เป็นมาตรฐานทั้งหมดที่เหมือนกันในหมวดหมู่สัญลักษณ์เดียวกันในบรรดาการประกาศที่มีสิทธิ์สำหรับการสร้าง fingerprint ไม่ได้หมายความว่าเป็นข้อความแหล่งที่มาเดียวกันหรือความเท่าเทียมกันทางความหมายที่พิสูจน์ได้ กลุ่มผู้สมัครที่ตรงกันแบบแม่นยำใช้สตรีมโทเค็นเอง ไม่ใช่ความเท่าเทียมกันของ fuzzy hash

ต่ำกว่า 500 สัญลักษณ์ที่มีสิทธิ์ การตรวจจับโครงสร้างจะเปรียบเทียบคู่หมวดหมู่เดียวกันทั้งหมด ที่ 500 หรือมากกว่า คู่โทเค็นที่ตรงกันทั้งหมดจะถูกเก็บรักษาโดยไม่ขึ้นกับการดึงผู้สมัคร และคู่อื่นๆ จะใช้เพื่อนบ้านโครงสร้างโดยประมาณ 50 อันดับแรกต่อสัญลักษณ์ ดังนั้นการดึงรายการที่เกือบซ้ำจึงไม่ครอบคลุมในอินพุตขนาดใหญ่ การดึงยังคงสแกนเวกเตอร์ทั้งหมด ไม่ได้ทำให้อัลกอริทึมโดยรวมเป็นแบบ subquadratic

การกรองช่วงความคล้ายคลึงยังคงมีผล ช่วงเริ่มต้นคือ 65–95% ซึ่งไม่รวมการจับคู่ 100% ในการรวมการจับคู่ที่ตรงกันแบบแม่นยำ ให้ใช้:

Terminal window
codeknit fingerprint ./src --min-similarity 100 --max-similarity 100

--rerank ที่ไม่บังคับจะเพิ่มผู้สมัครเชิงความหมาย ใช้การเห็นพ้องกันแบบโคไซน์ และกรองตามคะแนนรวม สามารถลบผู้สมัครที่ตรงกันทางโครงสร้างได้ ข้อความการฝังมาจากสแนปชอตแหล่งที่มาที่มีขอบเขตเดียวกันที่ใช้สำหรับการดึงข้อมูล อินพุตที่เสถียรและคะแนนคงที่จะสร้างลำดับที่กำหนดได้ รวมถึงการเสมอกัน การตอบสนองของโมเดลเองเป็นอินพุตภายนอก

internal/emitter/calibration_test.go ประเมินชุดทดสอบแหล่งที่มาขนาดเล็กที่มีป้ายกำกับที่เกณฑ์ 70% รายงานผลบวก/ลบจริง ผลบวก/ลบปลอม ความแม่นยำ และการระลึกถึงแยกจากคะแนนความคล้ายคลึง ชุดทดสอบมีคู่ที่ตรงกันแบบแม่นยำหนึ่งคู่ คู่โคลนใกล้เคียงสองคู่ และคู่ที่ไม่เกี่ยวข้องสามคู่ ทดสอบต่ำกว่าและข้ามขอบเขตสัญลักษณ์ 500 รายการ นี่เป็นการตรวจสอบการถดถอย ไม่ใช่การประมาณความแม่นยำในโลกแห่งความเป็นจริง งานงบประมาณการปรับเทียบและประสิทธิภาพหลายภาษาขนาดใหญ่ยังคงอยู่ในแผนงาน